I den romerske æra beskyttede et fæstet tårn krydset mellem to romerske veje, der mødtes på stedet for Luxembourg by. Gennem en handelstraktat med abbeden for Skt. Maximin i Trier i 963, krævede Siegfried I af Ardennerne, en nær slægtning til Ludvig II og Otto den Store, feudal magt over Luxembourg. Siegfried byggede sit slot, kaldet Lucilinburhuc ("lille slot").

I 987 velsignede ærkebiskop Egbert af Trier fem altre i Indfrielseskirken (i dag St. Michaels Kirke). Ved en romersk korsvej nær kirken fremkom en markedsplads hvoromkring byen udviklede sig.

Byen har på grund af sin beliggenhed og naturlige geografi været af militær strategisk betydning gennem historien. De første fæstninger blev bygget så tidligt som det 10. århundrede. Ved slutningen af det 12. århundrede blev nye mure, der omkredsede et areal på 50.000 m², bygget, eftersom byen ekspanderedes vestpå omkring den nye Sankt Nikolaus Kirke (i dag Notre-Dame Katedral.

Omkring 1340, under Johan af Luxembourgs styre, blev nye fæstningsværker bygget, som blev stående til 1867.

I 1443 besejrede burgunderne under Philip III Luxembourg. Luxembourg blev del af Burgund, og senere det spanske imperium og det habsburgske monarki, og under den habsburgske administration blev Luxembourg Slot gentagne gange styrket, så Luxembourg ved det 16. århundrede var et af de stærkeste fæstningsværker i Europa. Efterfølgende erobrede burgunderne, spanierne, franskmændene, spanierne igen, østrigerne, franskmændene igen og til sidst preusserne Luxembourg.