Olofsborg va partir diversos setges per part de les forces russes durant la primera i la segona guerra Russosueca. Gràcies a la protecció del castell es va iniciar un comerç bastant potent a finals del segle xvi que van permetre que Savonlinna obtingués la carta de ciutat el 1639.

El 28 de juliol de 1714, la guarnició va capitular davant de les tropes invasores russes en el marc de la Gran Guerra del Nord, però el 1721 el castell va passar de nou a mans sueques. El 1743 fou novament conquerit pels russos després de només dos dies de lluita en una nova guerra entre els suecs i els russos. Aquesta guerra es va acabar amb el Tractat d'Åbo, on s'establia tota cedir tota la regió a la tsarina Elisabet I de Rússia. El 1788 els suecs van intentar sense èxit prendre el castell. En mans dels russos el castell va partir nombroses modificacions, que han donat l'aspecte actual de fortalesa baluardada amb només tres torres, que foren alçades amb una construcció de totxo a fi que fossin elements de guaita, alhora que va perdre tot el seu valor estratègic, ja que se situa massa a l'interior.

El 1850 fou convertit en presó i durant la dècada de 1860 va partir dos incendis que el van malmetre. Al segle xx fou desmilitaritzat i es va començar a restaurar, obres que van acabar el 1975.