La construcción de Kastellet fue iniciada por el rey Cristián IV de Dinamarca en 1626 con la construcción de un afianzamiento de defensa de Copenhague en la parte norte de la muralla. El rey originalmente tenía planes de construcción de un gran castillo, que habría sido situado en el mismo sitio, y en el que el propio rey podría buscar refugio, pero el plan fue abandonado debido a limitaciones económicas. La construcción continuó con su sucesor, el rey Federico III de Dinamarca. Tras el asedio sueco a Copenhague durante la Guerra sueco-danesa (1658-1660), el ingeniero holandés Henrik Rüse fue llamado para ayudar a reconstruir y ampliar la construcción. La fortificación fue nombrada Citadellet Frederikshavn, pero es más conocido como Kastellet.

Kastellet formó parte de la defensa de Copenhague contra Inglaterra en la batalla de Copenhague de 1807.

Christen Købke (1810–1848), pintor danés asociado a la edad de oro de la pintura danesa, creció en Kastellet y muchas pinturas suyas son de esta zona.

Durante la invasión alemana de Dinamarca, el 9 de abril de 1940, las tropas alemanas que aterrizaba en el cercano puerto capturaron la ciudadela con muy poca resistencia, forzando así al Gobierno danés a rendirse.

Kastellet fue renovado en el periodo de 1989–1999 con fondos de A.P. Møller-Mærsk y Wife Chastine McKinney Møllers General Fund.