蒙特城堡最初可能是给嗜好打猎的腓特烈二世用来做打猎时的居所。城堡位于一座山丘上，丘上有一座本笃会修道院。城堡大约是在梅尔菲城堡（Castello di Melfi）和福贾（Foggia）的皇宫的中间，那是当时腓特烈处理政治问题和行政事务的地方。

在1249年，腓特烈的私生女维奥兰特（Violante）在此举行婚礼。但后来城堡用作监狱，它的外墙有2.55米厚，内墙有2.41米厚。第一批被关进来的人，在1265年由于霍亨斯陶芬王朝的衰败，是腓特烈的孙子，恩里科（Enrico）、菲德里科（Federico）和阿佐利诺（Azzolino）。

安德里亚(Andria)的贵族曾经在1665年在城堡里躲避瘟疫。后来，在17世纪被遗弃，城堡的一些大理石和雕刻被抢走，牧羊人和土匪也曾经以此为家。

1876年，城堡为国家所有，从那时起，政府做了许多修复工作。