El seu origen se situa oficialment el 29 de gener de 1240, quan Frederic II Hohenstaufen va ordenar que es preparessin els materials i tot el necessari per construir un castell prop de l'església de Santa Maria de Monte (ja desapareguda). Aquesta data, però, no és acceptada per tots els estudiosos: segons alguns, de fet, la construcció del castell en aquell moment ja havia arribat a les teulades.

No queda clara l'atribució a un determinat arquitecte: alguns l'atribueixen a Richard Lentini, però molts sostenen que la construcció del disseny és del mateix Frederic II. Sembla que va ser construït sobre les ruïnes d'una fortalesa anterior, primer Llombarda i després Normanda. Probablement a la mort de Frederic II (que va tenir lloc a 1250) l'edifici encara no estava acabat.

Fou rarament utilitzat en celebracions, tot i així, el 1246 va haver-hi el casament de Violant, la filla il·legítima de Richard i Bianca Lancia amb el comte de Caserta Riccardo Caetani.

A partir del segle xvii va patir un llarg període d'abandonament, durant el qual el castell va ser espoliat de mobles i decoracions de marbre parietal (les restes encara són visibles, només per darrere dels capitells) i es va convertir així en una presó i en un refugi per als pastors, bandits i refugiats polítics. El 1876 el castell, en condicions de conservació summament precàries, va ser comprat finalment (per la suma de 25.000 £) per l'Estat italià, que en va preparar la restauració a partir de 1928. El 1936 va ser declarat monument nacional.

El 1996, la UNESCO l'ha inscrit a la llista de Patrimoni per la perfecció de les seves formes i per l'harmoniosa unió dels elements culturals del nord d'Europa i el món islàmic de clàssic, típic exemple d'arquitectura militar medieval.