Tower v 15. století, obrázek z rukopisu básnické sbírky Karla, vévody z Orleánsu (1391–1465) připomínající jeho zdejší uvěznění (British Library)

První známé opevnění na tomto místě bylo římské opevnění, které nechal zbudovat císař Claudius na obranu města tehdy zvaného Londinium. V roce 1078 nařídil Vilém I. Dobyvatel postavit White Tower, aby ochránil Normany před obyvateli City a proti komukoli jinému. Předchozí opevnění na tomto místě, včetně římského, bylo zbudováno ze dřeva, ale Vilém nařídil, aby jeho věž byla z kamene, který byl speciálně dovezen z Francie. Král Richard I. Lví srdce dal zbudovat hradní příkop obklopující okolní hradby a nechal ho napustit vodou z Temže. Vodní příkop ale neplnil dobře svou funkci do doby než Jindřich III. zaměstnal holandské stavitele vodních příkopů. Příkop byl odvodněn v roce 1830 a na jeho dně byly nalezeny lidské kosti.

Královský zvěřinec byl v Toweru zřízen ve 13. století, pravděpodobně již v roce 1204 v době vlády krále Jana Bezzemka a zvířata pocházela zřejmě ze zvěřince založeného Jindřichem I. v roce 1125 v jeho paláci ve Woodstocku, poblíž Oxfordu. Někdy se jako založení uvádí rok 1235, kdy Jindřich III. obdržel tři leopardy (nebo lvy) jako svatební dar od Fridricha (Bedřicha) II., císaře římského. V roce 1264 byl zvěřinec přestěhován do Bulwarku, blízko hlavního západního vchodu, který byl přejmenován na Lion Tower. Příležitostně byl otevřen pro veřejnost v době vlády Alžběty I.. Od roku 1804 byl zvěřinec pravidelně přístupný pro veřejnost. Většina zvířat byla do roku 1835 přemístěna do Londýnské zoo a větší část Lion Tower byla zbořena, zůstala pouze brána Lion Gate.

Exekuce vězňů z nižší společenské třídy byly prováděny na jednom z veřejných míst mimo Toweru. Několik významných vězňů, jako například Thomas More, bylo veřejně popraveno na Tower Hillu. Příslušníci šlechtického stavu (především ženy) byli popravování uvnitř komplexu u Tower Green a byli pohřbeni v kapli Chapel Royal of St. Peter ad Vincula v blízkosti Tower Green. Někteří šlechtici popravení mimo Tower zde byli také pohřbeni. Říká se, že královna Anna Boleynová, popravená v roce 1536 za zradu vůči králi Jindřichu VIII., se občas prochází Towerem se svou hlavou v podpaží.

 Tower of London, obrázek z Cassellových Dějin Anglie, 1902

Význam vojenské využití Toweru jako opevnění, podobně jako u jiných hradů, poklesl s počátkem použití dělostřelectva. Přesto byl používán jako sídlo ministerstva obrany do roku 1855 a byl občas používán jako vězení dokonce i v obou světových válkách. V roce 1870 zde byl vězněn jediný americký vězeň Henry Laurens. V době první světové války byl Tower žalářem pro 11 německých špiónů a desátník Josef Jakobs byl posledním německým špiónem uvězněným 15. srpna 1941, během druhé světové války. V následujících letech zde strávil 4 dny Hitlerův zástupce Rudolf Hess.

Waterloo Barracks, běžně používaný jako královská klenotnice, byl v roce 1950 používán jako základna 1. praporu královských mušketýrů (City of London Regiment). Posledním britským občanem, vězněm v Toweru, byl vojenský zběh Norman Baillie-Stewart v letech 1933–1937.

Ačkoli již nyní není používán jako sídlo královské rodiny, zůstává Tower královskou rezidenci a je proto střežen stálou stráží – ta je tvořena jednotkou královské gardy Buckinghamského paláce. Tato ochrana je tvořena dvěma hlídkami, které stráží Tower během doby kdy je otevřen – jedna má stanoviště před Jewel House a druhá před Queen's House.