A római időben a település 2 utcából állt. 963-ban Siegfried gróf élt itt a városban. Tőle tudjuk, hogy ekkor már apátság és kastély is volt a településen. A kastélyról kapta a nevét a város: Licilinburhuc, később Lützenburg lett a neve, míg végül Luxemburg. 987-ben a várban a későbbi Mihály-templom elődjét kezdték el építeni.

A 11. század végén a gróf egy házi kolostort épített. A 14. században kezdték el építeni a kórházat. Az új Miklós-templom környékén elkészült a piac. 1340 körül János főúr elkezdte felépíteni a városfalat. 1354-ben a város Luxemburg hercegség fővárosa lett.

1443-ban a várost Jó Fülöp burgund herceg foglalta el. Luxemburg ezután Németalföld része lett.

Az 1830-as londoni konferencia után a poroszok, 1914-ben majd 1940-ben a németek foglalták el a várost, melyet 1944-ben az amerikai hadsereg szabadított fel. A poroszok az 1867-es, ugyancsak londoni konferencia döntése nyomán vonultak ki. Ugyanezen döntés alapján az erődítményeket katonai használatra alkalmatlanná kellett tenni, ami ugyan csak egy ellenőrző bizottság 1870-es látogatása nyomán kapott lendületet, de ezzel indulhatott meg a város polgári fejlődése. A várkapuk lerombolásával ugyanis megnyílt az út egyrészt a városi közlekedés, másrészt a váron kívüli területek városiasodása előtt. A jelenlegi Luxemburg arculatát meghatározó épületek zöme ekkor keletkezett. A város tudatosan vonzotta a gazdag polgárságot (minden, az országban működő vállalat székhelyének a városban kellett lennie, a belvárosban meghatározták a házak minimális emeletszámát, közberuházásból egészségügyi laboratóriumot, valamint kaszinót építettek, ekkor épült meg a főpályaudvar, a hozzá vezető sugárút mentén a vasúttársaság, az állami takarékpénztár (ez a két épület mintegy kapuoszlopként szegélyezi a belváros és a pályaudvari negyed közötti Adolphe-híd pályaudvar felőli hídfőjét) és az ARBED-nek (Acieries Réunies Burbach-Esch-Dudelange), a környék legfontosabb acélipari vállalatának, a mai Arcelor-Mittal-nak a központi palotái.