Wzgórze zostało ufortyfikowane w epoce żelaza. Rzymianie wznieśli na nim latarnię, która przetrwała do dnia dzisiejszego. Z czasów anglosaskich zachował się kościół St Mary in Castro, który stanowił prawdopodobnie część umocnionej osady saskiej. Wkrótce po bitwie pod Hastings (1066) fortyfikacje na wzgórzu wzniósł Wilhelm Zdobywca. Zamek w obecnej postaci powstał w drugiej połowie XII wieku, w czasie rządów Henryka II.

W czasach napoleońskich oraz podczas II wojny światowej miała miejsce intensywna rozbudowa podziemi. Zorganizowano w nich centrum dowodzenia, skąd kierowano ewakuacją Dunkierki (operacja „Dynamo”), oraz szpital polowy.

Do 1958 roku, nieprzerwanie przez dziewięć wieków, w zamku znajdował się garnizon. Obecnie zamkiem zarządza organizacja English Heritage.