La construcció de la fortalesa començà a finals del segle xiii, sota el regnat del rei Haakon V de Noruega, per servir com a seu del representant del rei. La fortalesa també serví durant molt de temps com a presó.

Durant el segle xvii, la fortalesa es va transformar en un castell renaixentista envoltat de bastions, perquè pogués servir com a residència. L'església de la guarnició fou consagrada el 1742 sota el regnat de Cristià VI de Dinamarca. Fou restaurada i ampliada per Wilhelm von Hanno i Heinrich Ernst Schirmer el 1870.

Durant la Segona Guerra mundial, l'1 de febrer de 1942, Vidkun Quisling obtingué el poder a Noruega amb el títol de ministre president del "Govern Nacional de Noruega", després d'haver suspès la monarquia. Instal·là les seves oficines al palau Reial d'Oslo i col·laborà activament amb els ocupants nazis. Quisling governà Noruega fins a la seva detenció el 9 de maig de 1945. Fou declarat culpable d'alta traïció després de la guerra, amb els altres dos líders del Nasjonal Samling: Albert Viljam Hagelin i Ragnar Skancke, i fou executat per un escamot d'afusellament el 24 de d'octubre de 1945 a la fortalesa d'Akershus.

Després de la guerra, la fortalesa es fa servir en els dies festius estatals, i especialment pel 75è aniversari del rei Haakon VII de Noruega el 1947. La restauració de l'alcassaba, iniciada abans de la guerra, va continuar després.