Aquest lloc pot haver estat enfortit amb moviments de terres a l'edat del ferro o abans, abans de la conquesta romana d'Anglaterra. Això es suggereix sobre la base del patró poc habitual dels moviments de terra que no sembla ser el millor assentament per a un castell medieval encara que les excavacions han proporcionat evidències de l'ocupació de l'edat de ferro dins de la localització del castell, però no si això s'associa amb el turó.[1]

Hi ha hagut excavacions al turó on es troben l'església i els pharos romans. Aquest lloc també va contenir un dels dos fars romans de 24 m de Dover, que encara perdura. Aquest lloc era un clàssic lloc de campaments normands on aquests celebraven les seves conquestes.

Després de la Batalla de Hastings a l'octubre de 1066, Guillem el Conqueridor i el seu exèrcit van marxar cap a l'Abadia de Westminster per a la seva coronació. Van fer una marrada per arribar a Londres, passant per Rommey, Dover, Canterbury, Surrey i Berkshire. Des de la fundació dels Cinc Ports l'any 1050, Dover sempre ha estat un membre important - pot ser que això fos el que primer cridés l'atenció de Guillem, i li donés el lema d'Invicta. En paraules de Guillem de Poitiers:

Això van poder haver estat les reparacions i millores fetes a un fort saxó o burg, centrades a l'església saxona de Santa María en Castro, encara que les proves arqueològiques suggereixen que en realitat era una nova fortificació sobre un pujol, dissenyada com a castell de mota i pati, construït a prop i des de zero.

Va ser durant el regnat d'Enric II quan el castell va començar a prendre la seva forma actual. Les esplanades interna i externa i la gran Torre de l'Homenatge pertanyen a aquesta època., Maurice l'Enginyer va ser el responsable de la construcció de la Torre de l'Homenatge.[3] Aquesta torre va ser una de les últimes torres de l'homenatge rectangulars a construir-se.

L'any 1216 un grup de barons rebels van convidar a Lluís VIII de França a acudir a Anglaterra i usurpar la corona anglesa. Va tenir èxit parcialment travessant les muralles però va ser incapaç de prendre el castell en si.

La vulnerable porta nord que havia estat penetrada durant el setge es va convertir en un pas subterrani al complex defensiu (incloent la Torre de Sant Joan) i es van construir noves portes en el mur exterior en la part occidental (Fitzwilliam's Gate) i oriental (Constable's Gate). Durant el setge, els defensors anglesos van excavar un túnel cap a l'exterior i van atacar als francesos, creant així l'únic túnel de contraatac del món. Això encara es pot veure avui en les obres medievals.

Durant l'època de Stephen de Pencester, es va erigir un molí de vent a la Torre 22, que més tard es coneixia com la Torre del Molí.[4] Per a l'època Tudor, les defenses ja havien estat reemplaçades per la pólvora. Aquestes van ser millorades per Enric VIII, qui va fer una visita personal, contribuint amb això a la creació del baluard de la fossa.

Durant la Guerra Civil Anglesa va ser defensat pel rei però després va ser pres per una treta parlamentària sense haver disparat un tir (pel que va evitar ser devastat i sobreviu molt millor que la majoria de castells) l'any 1642.

Durant les Guerres Napoleòniques, a finals del segle xviii es va dur a terme una gran reconstrucció. William Twiss, el comandant d'Enginyers del Districte Sud, com a part del pla per a millorar les defenses, va completar la remodelació de les defenses exteriors del Castell de Dover, afegint-hi els Semi-Bastions de l'Est, Oest, el Hudson i la Gran Ferradura per dotar al castell de posicions de tir addicionals per a la zona oriental del Castell, i construint el Bastió del Conestable per a una protecció addicional a la zona occidental. Twiss va reforçar encara més l'Espoló a la part nord del castell, afegint un sortint, o plataforma de tir. En eliminar el sostre de la torrassa i substituir-lo per voltes de maó, va ser capaç d'instal·lar peces d'artilleria pesada en el sostre de l'edifici. Twiss també va construir una porta d'enllaç per unir les defenses del castell amb les de la ciutat.

Quan Dover es va convertir en una ciutat guarnició, es necessitava una caserna i magatzems per a les tropes addicionals i els seus equipaments. La solució adoptada per Twiss i els enginyers reials va ser crear un complex de túnels a uns 15 metres per sota de la part superior del penya-segat i les primeres tropes s'hi van allotjar l'any 1803. Per quan van arribar les guerres napoleòniques, els túnels allotjaven a més de 2.000 homes i fins ara són els únics quarters subterranis construïts a Gran Bretanya.

El molí de vent de la Torre del Molí es va enderrocar durant la guerra de 1812 de les ordres de la Junta d'Ordenances. Es va dir que la venda de materials del molí demolit no cobria el cost de la demolició. [4] Al final de les Guerres Napoleòniques, els túnels van ser parcialment reconvertits i usats pel Servei de Bloqueig de Costes per combatre el contraban. Aquest va ser un servei a curt termini, ja que el 1826 la seu d'aquests serveis costaners es va traslladar a un lloc més proper a la costa. Després, els túnels van romandre abandonats durant més d'un segle.

L'esclat de la Segona Guerra Mundial el 1939 va convertir els túnels primer en un refugi dels raids aeris i després en un centre de comandament militar i hospital subterrani. Al maig de 1940, l'almirall Sir Bertram Ramsay va dirigir l'evacuació de soldats francesos i britànics de Dunkerque, nomenats en codi Operation Dynamo, des de la seva seu als túnels del penya-segat.

Una central de commutació militar es va instal·lar l'any 1941 i va servir a la seu subterrània. La centraleta estava en constant ús i es va haver de crear un nou túnel al seu costat per allotjar les bateries i els carregadors necessaris per mantenir-los funcionant. La marina va utilitzar la central de commtació per permetre la comunicació directa amb els vaixells, així com utilitzar-la per dirigir embarcacions de rescat d'aigües per recollir pilots abatuts a l'estret de Dover.

Més tard, els túnels van ser utilitzats com a refugi per als Regional seat of government en cas d'un atac nuclear. Aquest pla va ser abandonat per diversos motius, incloent la constatació que el guix dels penya-segats no proporcionaria una protecció important de la radiació i per la forma inconvenient dels túnels i les seves condicions generalment pobres.

Els nivells del túnel es denominen A - Annexe, B - Bastion, C - Casemate, D - DUMPY and E - Esplanade. Els nivells d'Annexe i Casemate estan oberts al públic, el Bastion està "perdut", però els investigadors continuen tenint-hi accés, DUMPY (convertit des de la Segona Guerra Mundial per servir com a Seu del Govern Regional en cas d'una guerra atòmica) està tancat, com és Esplanade (última utilitzada com a refugi d'avions a la Segona Guerra Mundial).[5]

El nivell Annex va ser excavat l'any 1941 per servir com a estació mèdica per a soldats ferits. Contenia dos centres operatius i tenia allotjament bàsic per als pacients. Els soldats serien enviats per al tractament d'emergència als túnels i després seran traslladats als hospitals de l'interior. Dins del nivell hi havia dormitoris, cuines i banyeres.

Una estàtua de l'almirall Sir Bertram Ramsay es va erigir el novembre de 2000 fora dels túnels en honor del seu treball sobre l'evacuació de Dunquerque i la protecció de Dover durant la Segona Guerra Mundial.[6]

Si eren atacats havien de moure's ràpidament, ja que els enemics estaven a només nou minuts de Dover en avió. Hi ha més de tres quilòmetres d'aquests túnels que inunden els penya-segats calcaris, alguns encara desconeguts. Hi ha túnels que són massa perillosos per baixar. La informació completa d'aquests túnels no es publicarà fins al 2020-2025.

El Castell de Dover està qualificat com a Scheduled Monument,[7] el que significa que és un edifici històric "important a nivell nacional" i un jaciment arqueològic que ha estat protegit contra un canvi no autoritzat.[8]

Està a la llista de grau I de protecció de monuments[9] i reconegut internacionalment com a estructura important.[10]

El castell, els túnels secrets i els terrenys circumdants ara pertanyen a English Heritage i el lloc és una important atracció turística. Entre 2007 i 2009, English Heritage va gastar 2.45 milions de lliures en recrear l'interior del castell.[11] L'any 2010 va ser visitat per prop de 350.000 persones.[12]