Si ritiene che il sito dove sorge il castello fosse già stato fortificato in precedenza, forse nell'Età del Ferro, di sicuro lo era al tempo della Conquista della Britannia nel 43. Questo è suggerito dagli inusuali modelli di terrapieno che non sembrano essere perfettamente adatti per un castello, in ogni caso non sono state trovate prove archeologiche certe che testimonino una certa attività in epoca preistorica.

Guglielmo il Conquistatore sbarcò da queste parti e nel 1066, dopo la Battaglia di Hastings partì da qui per dirigersi verso l'Abbazia di Westminster dove doveva essere incoronato. Quando Enrico II d'Inghilterra salì al trono nel 1154 il castello cominciò a prendere forma sotto la guida dell'architetto Maurizio l'Ingegnere, che costruì qui un maschio a pianta rettangolare, uno degli ultimi a essere costruiti[1].

Nel 1215 sul trono sedeva il figlio di Enrico, Giovanni Senza Terra, che era stato costretto dai baroni a firmare la Magna Carta, ma lo scontro che aveva diviso nobili e re esplose di nuovo l'anno seguente. Nel 1216 i baroni chiesero al principe Luigi di Francia, di unirsi a loro per invadere l'Inghilterra, spodestare Giovanni ed offrire quindi il trono al sovrano francese. Luigi accettò e dopo aver conquistato il Castello di Canterbury e quello di Rochester si trovò incapace di prendere quello di Dover. Il cancello a nord era stato rinforzato così da poter essere difeso, ed altri cancelli erano stati messi a difesa delle mura occidentali ed orientali. Durante l'assedio gli inglesi scavarono un tunnel che gli permise di uscire per attaccare i francesi che alla fine furono respinti.

A partire dall'epoca dei Tudor le difese del castello furono rese obsolete dall'arrivo della polvere da sparo ed Enrico VIII d'Inghilterra fece costruire dei bastioni e dei fossati per potenziarle. Durante la Guerra civile inglese il castello venne preso dai seguaci di Oliver Cromwell senza che, per fortuna, venisse danneggiato.

Quando nel XVIII secolo scoppiarono le Guerre Napoleoniche il castello fu rimodernato ampiamente, il generale William Twiss (1745-14 marzo 1827) nel suo breve tentativo di aumentare le difese della città aggiunse altre mura e bastioni alla struttura comprese delle nuove postazioni da cui poter sparare ed anche un saliente. Anche il tetto del maschio venne fortificato in modo che su di esso si potessero posizionare le artiglierie pesanti. Twiss costruì anche un nuovo cancello che permettesse alla città di venire meglio difesa dal suo castello. Con Dover divenuta quasi una città fortificata era necessario avere delle caserme e delle stanze in cui stoccare i viveri e le armi, Twiss decise quindi di costruire delle caserme sotterranee collegate da dei tunnel sotto la cima della scogliera e le prime truppe che vi si acquartierarono giunsero nel 1803. Al culmine della guerra vi vennero ospitati circa 2.000 uomini contemporaneamente.

Lo scoppio della seconda guerra mondiale quasi centocinquant'anni dopo fece riscoprire queste gallerie, dapprima come ripari contro i raid aerei, poi come centro militare ed ospedale coperto. Nel maggio del 1940 il generale inglese Bertram Ramsay diresse l'Operazione Dynamo, l'evacuazione dei soldati francesi ed inglesi da Dunquerque, dal suo quartier generale situato nei tunnel del castello. Qui venne posizionato un Centralino, costantemente in uso ed una nuova galleria venne costruita per poter alloggiare le batterie necessarie per farlo funzionare. Alcuni dei tunnel sono a tutt'oggi visitabili.