בתקופה הרומית שימשה דובר כמוצב של האימפריה הרומית בשם "פורטוס דובריס" - "שער דובר" (Portus Dubris), והייתה עיר נמל עיקרית של ה"צי הבריטי הרומאי" (Classis britannica). הרומאים בנו מגדלור במקום בו נמצאת טירת דובר, אשר נשמר עד ימינו.

לאחר קרב הייסטינגס נכבשה הטירה על ידי כוחות נורמנים בהנהגת ויליאם הכובש מידי חיל המצב האנגלי (סקסוני) ומבניה הועלו באש. טירה חדשה בסגנון התל וחצר (אנגלית: "motte and bailey" ) הנפוץ אצל הנורמנים נבנתה באתר. הטירה נבנתה מחדש בתקופת שלטונו של הנרי השני, מלך אנגליה, בתקופה זו נבנה מגדל עוז גדול ממדים, שהיה אחד מהאחרונים שנבנו, וסביבו מערכת הגנה כפולת חומות בסגנון המצודה הקונצנטרית שמקורה באדריכלות צבאית צלבנית ובדומה למבצר הצלבני המפורסם קראק דה שבלייה.

מבחן האש הראשון של הטירה הגיע בשנת 1216 בעת מלחמת הברונים הראשונה. אז צר הצבא הצרפתי בראשות לואי השמיני, מלך צרפת על הטירה ולאחר קרבות עזים הצליחו הצרפתים לפרוץ את החומות ולחדור אל מגדל העוז. אולם יוברט דה בורג, מפקד הטירה הצליח להדוף את אנשיו של לואי, וחסם את הפרצה בחומה באמצעות גזעי עצים גדולים. לאחר שלושה חודשי מצור, הסיג לואי את כוחותיו, שב ללונדון והכריז על הפסקת אש, וזאת מבלי לכבוש את הטירה.

בשנת 1642, במהלך מלחמת האזרחים האנגלית נתפסה טירת דובר על ידי תומכי הפרלמנט הארוך, עובדה זו מנעה את הרס הטירה.

בסוף המאה ה-18 במהלך המלחמות הנפוליאוניות שופצה המצודה וביצוריה נבנו מחדש על מנת להתאים אותה לאתגרים הצבאיים של התקופה. לטירה נוספה טבעת ביצורים חיצונית ובה עמדות תותחים. מגדל העוז הפך לפלטפורמה לתותחים, גגו הוסר וקמרונות נבנו במקומו, עליהם הוצבו עמדות תותחים כבדים. הגדלת חיל המצב הצריכה בנייה של מחנות צבא ומגורים, הפתרון נמצא בדמות מנהרות שנכרו בעומק של 15 מטרים מקצה המצוק והחיילים הראשונים עברו למגורים אלו בשנת 1803 ובשיאם אכלסו מגורים תת-קרקעיים אלו 2000 חיילים. מנהרות אלו, שננטשו לאחר תום המלחמות הנפוליאוניות, חזרו לשימוש עם פרוץ מלחמת העולם השנייה בשנת 1939. תחילה שימשו המנהרות כמקלטים כנגד הפצצות ולאחר מכן כמפקדה תת-קרקעית שבמאי 1940 פיקחה על פינוי הצבא הבריטי מדנקרק.

הטירה והמנהרות נמצאים בבעלות קרן המורשת האנגלית והאתר פתוח לציבור ומהווה מוקד משיכה לתיירים רבים.