Pirmās rakstiskās ziņas par Luksemburgu ir no 963. gada. Pilsētas tiesības ir no 1244. gada. Pilsēta vienmēr atradusies lielu ceļu krustojumā. Gadsimtu gaitā tika uzceltas aizsargsienas, tā kļuva par ļoti nocietinātu pilsētu. To bieži dēvēja par "Ziemeļu Gibraltāru". Tomēr laika gaitā pilsētai vairākkārt mainījās saimnieki.

No 1443. gada pilsētu ieņēma burgundieši. 1609. — 1684. un 1697. — 1724. gadā pilsēta ietilpa Spānijā, 1684.—1697. un 1794.—1815. gadā — Francijā, 1714.—1794. gadā — Austrijā.

Pirmajā un Otrajā pasaules karā Luksemburgu ieņem vācu karaspēks. 1952. gadā Luksemburga kļuva par ES priekšteča — Eiropas Ogļu un tērauda kopienas galvenās mītnes vietu.