Towern grundlades efter segern 1066, byggstarten skedde troligtvis år 1078. Att bygga fästningar var ett centralt element i normandernas krigföring. Anglosaxarna hade många små träfästningar, men de var svaga och man hade inte utarbetat bra metoder att försvara dem. Normanderna var däremot upptagna med att säkra områden genom att bygga fästningar där de skulle kunna känna sig trygga om anglosaxarna skulle göra uppror.

Towern var ursprungligen ett mindre träfort. Vilhelm beordrade att träfortet skulle rivas och att det skulle ersättas av något mer solitt. Det skulle, som han uttryckte det, vara en symbol för hans makt, en fästning som försvar, och ett fängelse för hans fiender. [1]. White Tower stod klart omkring 20 år senare. Under det följande århundradet bestod Tower bara av denna enda byggnad med en liten borggård och en enkel ringmur.

Den första påbyggnaden påbörjades år 1189 av rikskanslern när Rikard I av England var på korståg. Borggården runt White Tower blev dubbelt så stor, och ny ringmur med torn omgärdat av en ny vallgrav uppfördes. Den färdigställdes år 1199 av Rikards bror och efterträdare Johan.

Under Henrik III (1216–1272) fokuserades först på slottets roll som kungligt palats. Mellan White Tower och floden uppfördes kungliga bostäder. Kungen lät även bygga en djurpark för att kunna roa sig innanför murarna. Sedan denna utbyggnad var färdig hamnade Henrik i konflikt med sina baroner, och behövde en ny utbyggnad. Återigen fördubblades ytan, denna gång på alla tre landsidor, så White Tower hamnade i mitten. Även en ny ringmur och en ny vallgrav uppfördes.

Under Edward I (1272–1307) fick Towern den storlek den har idag. Mellan 1275 och 1285 lade kungen mer än dubbelt så mycket resurser på Towern som hans far hade gjort under hela sin långa regeringstid. Det anlades en ny vallgrav och en ny ringmur längs floden. I muren längs Themsen byggdes nya kungliga gemak, Den nya huvudporten mot land blev kraftigt befäst.

Under bondeupproret år 1381 intogs Towern och Simon Sudbury, ärkebiskop av Canterbury och rikskansler mördades. Detta skylldes inte på svagheter i försvarsanläggningen, utan på att garnisonen inte försvarade slottet. Då slottet intogs hade kung Rikard II lämnat det för att förhandla med upprorsmakarna och då en stor folkmassa kom till Towern, fruktade soldaterna att de skulle sätta kungens liv i fara om de gjorde motstånd.

Towern intogs igen 1460, under Rosornas krig. Det blev bombarderat och belägrat och garnisonen valde att kapitulera med goda villkor hellre än att utkämpa en strid de inte kunde vinna.

Efter att Edvard I hade utvidgat Towern kom flera viktiga institutioner att flyttas dit som den största kungliga skattkammaren och det största myntslageriet (Royal Mint), rikets hovarsenal och ett lager för offentliga dokument. Bryggorna utvidgades så att de gick längs hela flodbredden så att gods lättare kunde transporteras ut och in från Towern. Det var även under denna tid som Towern började användas som fängelse, något som skulle komma att bli en viktig funktion under tudortiden och elisabetansk tid.

Vid restaurationen år 1660 inleddes en ny fas i Towerns historia. Under Karl II skedde stora förändringar. Hans far, Karl I hade förlorat kontrollen över London under det engelska inbördeskriget, och Karl II ville förhindra att det skulle kunna ske igen. Slottet rustade upp rejält, med artilleri och utvidgad arsenal.

Samtidigt började man att öppna slottet för besökare. Riksregalierna ställdes ut. En utställning med historiska vapen öppnades. Towern användes fortfarande som fängelse, men i betydligt mindre grad än under tudormonarkerna. Det var främst vid större nationella kriser, som jakobitupproren åren 1715 och 1745, samt under franska revolutionen, som man placerade fångar där. Royal Mint och dokumentlagret fanns fortfarande i Towern.

Den militära aspekten stärktes igen år 1826, då hertigen av Wellington blev konstapel av Towern. Han trodde, som många andra, att en revolution när som helst kunde utbryta i England, och menade att säkra Towern var centralt. Royal Mint hade då redan flyttat, men Wellington lade ned djurparken och lät flytta dokumentlagret. Grand Storehouse, den största arsenalbyggnaden, ödelades i en brand 1841 och han fick bygga en ny stor arsenals- och kasernbyggnad. Wellington ansåg även att allmänheten inte skulle ha tillgång till Towern, men detta fick han inget gehör för.

Under första världskriget förblev Towern öppet för allmänheten. Men på grund av luftangrepp var man några gånger tvungen att stänga. Den tyske kejsaren hade i början av kriget givit klara order om att historiska monument eller kungliga slott i London inte skulle vara bombmål, men siktmetoderna var ej så precisa, Towern ligger nära Londons ekonomiska centrum och nära ett industriområde på södersidan av Themsen. Den 13 juni 1917 fälldes en bomb i vallgraven vid Legge's Mount; den exploderade dock inte, och de enda skadade var två duvor. Under senare bombräd skadades dock Towern. Skadan på Bowyer Tower, orsakades inte av en tysk bomb utan av en luftvärngranat som avfyrades från Tower Bridge. Den exploderade inte som den skulle, utan föll ned på tornet. Kanonen kommenderades av Charles Foulkes, curator över Tower Armouries, som blev känd 19 maj 1918 då han sköt ned ett bombflyg, det enda som sköts ned över London under första världskriget.

Under första världskriget kom Towern att åter användas som fängelse. Elva tyska spioner avrättades genom arkebusering mellan november 1914 och april 1916. Några av dem sköts i vallgraven, andra på den lilla skyttebanan som uppförts så att soldaterna kunde öva. Den mest kände fången under denna period sir Roger Casement, en irländsk nationalist som funnits skyldig till högförräderi. Efter några dagar i Towern avrättades han i Pentonvillefängelset den 3 augusti 1916.

Under andra världskriget blev Towern ett uppsamlingscentrum för krigsfångar. Omkring 180 fångar inspärrades på Towern för att senare tas till krigsfångläger i norra England. De flesta av dem kom från Tysklands flygvapen eller från ubåtar. Två av fångarna var speciella. Den tyske generalkonsulen i Island, Dr. Gerlach, satt där i tre och en halv månad år 1940 och Rudolf Hess satt i Queen's House i fyra dagar i april 1941. Towern slutade att vara en avrättningsplats sedan spionen Josef Jakobs hade avrättats på skyttebanan den 14 augusti 1941.

Bombning orsakade omfattande skador på Towern, speciellt mellan september och november 1941. Omkring femton sprängbomber och ett stort antal brandbomber träffade Towern. Flera byggnader ödelades helt, bland annat North Bastion och Master of Assay Office. Under detta krig stängdes Towern från krigets början för allmänheten och öppnade inte förrän 1 januari 1946.

Under efterkrigstiden har många renoveringar skett. Det som är mest synligt för turister är att flera århundradens sotlager har skrapats av murarna. Även byggnader från krigen revs, den sista bunkern revs 1959. 17 juli 1974 inträffade en bombexplosion i granatkastarrummet i White Tower. En person dödades och 41 skadades. Ingen tog på sig ansvaret för bomben, men polisen menade att det var Provisoriska IRA som låg bakom attacken.[2] Det finns inte längre några kungliga gemak i Towern, men det är fortfarande ett kungligt palats. Därför finns där gardister från Drottningens garde när Towern är öppet för allmänheten, en utanför Jewel House och en vid Queen's House.