Будівництво замку почалося 25 січня 1240 року, цього дня Фрідріх II Гогенштауфен наказав підготувати всі необхідні будівельні матеріали для спорудження замку поряд з церквою Санта-Марія-дель-Монте (не збереглася). Щоправда деякі історики не підтверджують цієї дати та вважають, що на той час вже проходили роботи з накриття споруди. Так само остаточно нез'ясованим залишається ім'я архітектора. Деякі фахівці називають ім'я Ріккардо де Лентіні, тоді як більшість істориків схиляється до думки, що проект замку був розроблений самим Фрідріхом II.

Вважається, що замок було споруджено на руїнах попередніх фортець, спершу лангобардської, а пізніше норманської. Не виключено, що 1250 року, коли помер Фрідріх II, будівництво було ще не зовсім завершене.

У замку рідко проводилися святкові церемонії. Збереглися відомості про вінчання 1246 року принцеси Віоланти де Свевії, дочки Фрідріха II та Б'янки Ланчії, з графом Казерти Ріккардо Сансеверіно. Згодом замок стає центром землеволодінь, що належали спершу Орсіні дель Бальцо, графу Андрії, потім іспанському генералові Гонсало де Кордова, а з 1552 року — родині Карафа. З XVII століття замок тривалий час перебував у закинутому стані, було втрачено зовнішнє оздоблення та настінні орнаменти з мармуру. Замок було перероблено на в'язницю, потім на притулок для пастухів, розбійників, політичних біженців. 1876 року замок було викуплено в графа Ріккардо д'Андрія італійською державою за 25 000 лір. Стан замку був доволі жалюгідний, а реставраційні роботи почалися лише 1928 року. 1936 року замок було занесено до списку національних пам'яток.[1].

1996 року замок було занесено до списку Світової спадщини ЮНЕСКО, за досконалість форми та гармонійне поєднання культурних елементів Північної Європи, ісламського світу та античності. Замок було визнано видатним зразком оборонної архітектири часів Середньовіччя.[2].