Замок Святого Олафа був закладений за наказом регента Еріка Аксельссона (Тотта)[en] 1475 року на випадок війни з Великим князівством Московським, що тільки-но загарбало Новгородську республіку. Регент прагнув скористатися політичною нестабільністю на сході для того, щоб закріпитися на колишній Новгородській території на схід від нового московсько-шведського кордону, установленого Орєховським миром.

Замок був споруджений на озері, посеред заплутаної мережі водойм і проток, які б ускладнили облогу. Спочатку фортеця була названа шведами Нюслотт (швед. Nyslott, що означає «новий замок»). Судячи з особливостей військової архітектури, будівельники замку були запрошені до Фінляндії з Ревеля, де на той час велося спорудження нових міських укріплень. Будівельні роботи тривали до кінця XV століття.

У XVI столітті гарнізон замку становив не менше 200 осіб, що робило його найголовнішим форпостом шведського панування на сході, поряд із Виборзьким замком. Замок із честю витримав облогу московських військ під час воєн 1495-97 і 1554-57 рр. (У фінських джерелах немає інформації про облогу замку в 1554-57 рр.)

Після виходу Швеції з Кальмарської унії фортеця залишилася під орудою шведів. Згодом навколо замку виросло поселення, яке дістало назву Савонлінна. Торгівля йшла добре, і 1639 року поселення вже мало статус міста.

Під час Північної війни фортеця стала однією з основних перешкод на шляху російських військ углиб Швеції. Після шеститижневої облоги 28 липня 1714 гарнізон замку здався російським військам. У 1721 році за умовами Ніштадтського мирного договору фортеця була повернена Швеції. Кордон знову пройшов від замку на тій самій відстані, що й до Столбовського мирного договору 1617 року.

Під час чергової російсько-шведської війни 6 серпня 1742 року російські війська знову підійшли до замку. Гарнізон фортеці складався лише із сотні людей і вже за два дні склав зброю. У 1743 році був укладений Абоський мир, за яким фортеця відійшла до Росії разом з усім регіоном Савонлінна.

У 1788 році під час російсько-шведської війни фортеця витримала облогу шведських військ.