Esto está sugerido en base del inusual patrón de excavación el cual no parece ser el mejor asentamiento para un castillo medieval, aunque las excavaciones arqueológicas que se han realizado en castillo no han encontrado ninguna prueba de actividad prehistórica.

Este lugar también contuvo uno de los dos faros romanos de 24 m de Dover, uno de los cuales todavía perdura. Este sitio es un clásico lugar de campamentos normandos donde éstos celebraban sus conquistas.

Tras la batalla de Hastings en octubre de 1066, Guillermo el Conquistador y su ejército marcharon hacia la abadía de Westminster para su coronación. Hicieron un rodeo para llegar a Londres, pasando por Romney, Dover, Canterbury, Surrey y Berkshire. Desde la fundación de los Cinco Puertos en 1050, Dover siempre ha sido un miembro importante - puede que esto fuera lo que primero llamara la atención de Guillermo, y le diera el lema de Invicta. En palabras de Guillermo de Poitiers:

Esto pudieron haber sido las reparaciones y mejoras hechas a un fuerte sajón o burgo, centradas en la iglesia sajona de Santa María en Castro, aunque las pruebas arqueológicas sugieren que en realidad era una nueva fortificación sobre una colina, diseñada cerca y desde cero.

Fue durante el reinado de Enrique II cuando el castillo empezó a tomar su forma actual. Las explanadas interna y externa y la gran torre del homenaje pertenecen a esta época. Maurice el Ingeniero fue el responsable de la construcción de la torre del homenaje.[cita requerida] Esta torre fue una de las últimas torres del homenaje rectangulares en construirse.

En 1216 un grupo de barones rebeldes invitaron a Luis VIII de Francia a acudir a Inglaterra y usurpar la corona inglesa. Tuvo éxito parcialmente atravesando las murallas pero fue incapaz de tomar el castillo en sí.

La vulnerable puerta norte que había sido penetrada durante el asedio se convirtió en un paso subterráneo al complejo defensivo (incluyendo la Torre de San Juan) y se construyeron nuevas puertas en el muro exterior en la parte occidental (Fitzwilliam's Gate) y oriental (Constable's Gate). Durante el asedio, los defensores ingleses excavaron un túnel hacia el exterior y atacaron a los franceses. Esto todavía se puede ver hoy en las obras medievales.

Para la época Tudor, las defensas ya habían sido reemplazadas por la pólvora. Estas fueron mejoradas por Enrique VIII, quien hizo una visita personal, contribuyendo con ello a la creación del baluarte de la fosa.

Durante la Guerra Civil Inglesa fue defendido por el rey pero después fue tomado por una treta parlamentaria sin haber disparado un tiro (por lo que evitó ser devastado y sobrevive mucho mejor que la mayoría de castillos) en 1642.

Durante las guerras napoleónicas a finales del siglo XVIII se llevó a cabo una gran reconstrucción. William Twiss, el Comandante de Ingenieros del Distrito Sur, como parte del plan para mejorar las defensas, completó la remodelación de las defensas exteriores del castillo de Dover añadiendo los semibastiones del Este, Oeste, del Hudson y la gran Herradura para dar al castillo posiciones de tiro adicionales para la zona oriental del Castillo, y construyendo el bastión de Constable para una protección adicional en la zona occidental. Twiss fortaleció todavía más el Espolón en la parte norte del castillo, añadiendo un saliente, o plataforma de tiro. Al quitar el tejado del torreón y sustituirlo por bóvedas de ladrillo, fue capaz de instalar piezas de artillería pesada en el techo del edificio. Twiss también construyó la Puerta de enlace de Canon para unir las defensas del castillo con las de la ciudad.

Con Dover convirtiéndose en una ciudad para el acuartelamiento de tropas, había necesidad de construir cuarteles y almacenes para esas tropas y su equipamiento. La solución adoptada por Twiss y los Ingenieros Reales fue el crear un complejo de cuarteles y túneles 15 metros por debajo de los acantilados, y las primeras tropas fueron alojadas allí en 1803. Para cuando llegaron las guerras napoleónicas, los túneles albergaban a más de 2000 hombres y hasta la fecha son los únicos cuarteles subterráneos construidos en Gran Bretaña.

Al final de las Guerras Napoleónicas, los túneles fueron parcialmente reconvertidos y usados por el Servicio de Bloqueo de Costas para combatir el contrabando. Este fue un servicio a corto plazo, ya que en 1826 la sede de estos servicios costeros se trasladó a un lugar más cercano a la costa. Después, los túneles permanecieron abandonados durante más de un siglo.