La prima cittadella venne fondata nel 1010 sotto la dinastia Lý sul luogo di una cittadella cinese del VII secolo situata nel delta del Fiume Rosso. Venne successivamente ricostruita ed espansa durante le dinastie Trần, Lê e Nguyễn. Rimase il centro amministrativo e sede della corte vietnamita fino al 1810, quando la capitale venne trasferita a Huế.

Durante il XIX secolo le strutture vennero lasciate in stato di abbandono, che continuò dopo la conquista francese di Hanoi. Nei primi anni del XX secolo varie parti della cittadella vennero demolite dal governo coloniale. Nel 1945, durante l'occupazione giapponese la cittadella venne usata dall'esercito giapponese per imprigionare più di 4000 soldati francesi catturati durante il colpo di stato del marzo di quell'anno.

Tra il 1954 ed il 1975 il comando dell'Esercito popolare del Vietnam era situato nella cittadella, con nome in codice D67. Vari rifugi antiaerei vennero costruiti al disotto di strutture della cittadella per offrire protezione durante i bombardamenti statunitensi.

Scavi archeologici e lavori di restauro sono stati intrapresi negli ultimi anni: alcuni edifici costruiti come caserme durante il periodo francese sono stati demoliti per fare spazio ad un nuovo museo mentre nuovi reperti archeologici sono stati scoperti nel 2008 durante i lavori di costruzione del nuovo parlamento, nella vicina piazza Ba Đình.

Il 31 luglio del 2010, l'UNESCO l'ha inserita nella lista dei siti patrimonio mondiale dell'umanità.