Het kasteel werd rond 1240 gebouwd in opdracht van keizer Frederik II. In een brief uit 29 januari 1240 gaf de keizer van het Heilige Roomse Rijk opdracht tot voorbereidende werkzaamheden. Andere achthoekige gebouwen die hij kende, waren de Paltskapel in Aken, de Rotskoepel in Jeruzalem, de Paltskapel van kasteel Hagenau en de San Vitale in Ravenna. Frederik bouwde ook de achthoekige 'Torre di Federico' in Enna (Sicilië).

Mogelijk is Castel del Monte gebouwd op de fundamenten van een eerder fort of mausoleum. Het werd vernoemd naar het dichtbijgelegen klooster met dezelfde naam.

In de loop van de eeuwen werd het kasteel als residentie, gevangenis, schuilplaats tegen de pest, en als rovershol gebruikt.

Van 1268 tot 1299 werden twaalfduizend dagen Frederiks kleinkinderen Federico (1259-1312), Enrico (1254-1318) en Enzio (1261-1301), de zonen van Manfred, in Castel del Monte gevangen gehouden door Karel van Anjou. Ze waren 'als beesten met kettingen vastgeklonken aan de muren', de ogen uitgebrand en gecastreerd.

In 1876 werd het kasteel voor een verwaarloosbaar bedrag eigendom van de Italiaanse staat. Het was vervallen en de meeste beelden en ornamenten waren al lang weggeroofd. Het werd gerestaureerd en kreeg de status van nationaal monument.

Sinds 1996 staat dit kasteel op de Werelderfgoedlijst.