Il castello fu costruito su tre isolotti a Slotsø ("Lago del Castello") tra il 1560 e il 1630 da Hans van Steenwinckel il Vecchio, un architetto fiammingo di Anversa. È considerato il capolavoro del rinascimento danese. Come altri grandi edifici danesi dello stesso periodo, il suo stile è principalmente quello dell'architettura tardo-rinascimentale fiamminga e olandese (in transizione verso il barocco). Prende il nome da Federico II. Fu costruita, tra l'altro, riutilizzando le pietre dei monasteri chiusi durante la riforma protestante, tra cui l'abbazia di Æbelholt.[1]

Nel 1859 fu distrutto da un incendio prima di essere ricostruito sotto la responsabilità dell'architetto Ferdinand Meldahl.