La construcció de Kastellet va ser iniciada pel rei Cristià IV de Dinamarca el 1626[1] amb la construcció d'un fiançament de defensa de Copenhaguen a la part nord de la muralla. El rei originalment tenia plans de construcció d'un gran castell, que hauria estat situat al mateix lloc, i en el qual el mateix rei podria buscar refugi, però el pla va ser abandonat a causa de limitacions econòmiques. La construcció va continuar amb el seu successor, el rei Frederic III de Dinamarca. Després del setge suec a Copenhaguen durant la Guerra suec-danesa (1658-1660), l'enginyer holandès Henrik Rüse va ser escollit per ajudar a reconstruir i ampliar la construcció, el 1662. La fortificació va ser nomenada Citadellet Frederikshavn, però és més conegut com a Kastellet.

Kastellet va formar part de la defensa de Copenhaguen contra Anglaterra en la batalla de Copenhaguen de 1807.

Christen Købke (1810-1848), pintor danès associat a l'edat d'or de la pintura danesa, va créixer en Kastellet i moltes pintures seves són d'aquesta zona.

Durant la invasió alemanya de Dinamarca, el 9 d'abril de 1940, les tropes alemanyes que aterrava al proper port van capturar la ciutadella amb molt poca resistència, forçant així al Govern danès a rendir-se.

Kastellet va ser renovat en el període de 1989-1999 amb fons de A.P. Møller-Mærsk i Wife Chastine McKinney Møllers General Fund.

Kastellet és avui una zona pacífica, protegida, servint com un parc públic, un monument cultural històric i, encara propietat del Ministeri de Defensa danès, com una àrea militar en funcionament. L'activitat militar a la zona inclou l'ús pel cap de la Guàrdia danesa (Hjemmeværnet), Intel·ligència de Defensa (Forsvarets Efterretningstjeneste), Cos de Jutges de Defensa (Forsvarets Auditørkorps) i biblioteca de la guàrdia reial.