בתקופת האימפריה הרומית התבססה הגנת האזור על מחנה מבוצר, ששכן בהצטלבות הדרכים הרומיות במקום. באמצעות הסכם הסחר עם מנזר מקסימין מטריר שנחתם בשנת 963, רכש זיגפריד הראשון מהארדנים, קרוב משפחה של המלך לואי השני, מלך צרפת ושל הקיסר אוטו הראשון, את חלקות האדמה הפאודליות של לוקסמבורג. זיגפריד בנה טירה על צוק סלעי, אותה כינה בשם "לוקילינבורהוק" (Lucilinburhuc - "טירה קטנה"), ורכישה זו זכתה לאזכור בהסכם הסחר שלעיל. ב-987 קידש הארכיבישוף אגברט חמישה מזבחים בכנסיית הגאולה (כיום כנסיית מיכאל הקדוש). בסמוך לדרך רומית ליד הכנסייה החל מתפתח שוק, ומאוחר יותר צמח יישוב סביבו.

במהלך ההיסטוריה זכתה העיר לוקסמבורג לחשיבות צבאית ואסטרטגית בזכות מיקומה והמאפיינים הגאוגרפיים הטבעיים שלה. הביצורים הראשונים נבנו במקום במאה ה-10. בשלהי המאה ה-12, וככל שהעיר התרחבה מערבה לכיוון כנסיית ניקולאס הקדוש (כיום כנסיית נוטרדאם), החלה בניית החומות החדשות שהקיפו שטח בגודל חמישה הקטאר. תחת שלטונו של יוהאן מלוקסמבורג נבנו בשנת 1340 ביצורים חדשים, ואלה שרדו עד 1867.

ב-1443 נכבשה העיר על ידי דוכסות בורגונדיה בהנהגת פיליפ הטוב. העיר הפכה לחלק מארצות השפלה הבורגונדיות, ומאוחר יותר לחלק מהאימפריה הספרדית ומהאימפריה האוסטרית[1]. תחת שלטונו של בית הבסבורג חוזקה טירת לוקסמבורג, ובמאה ה-16 הייתה לאחד המבצרים החזקים באירופה. בשנים שלאחר מכן עברה השליטה בעיר פעמים מספר בין הבורגונדים, הספרדים, הצרפתים, הספרדים האוסטרים, ולבסוף השתלטו עליה הפרוסים.

במהלך המאה ה-17 נבנו חרירי הירי הראשונים; ב-1644 החלו הספרדים בבניית תעלות רצופות באורך 23 קילומטרים[2]. תעלות אלה הוגדלו בתקופת השלטון הצרפתי על ידי מרשל וובאן, ושוב בין 1730 ל-1740, כאשר האוסטרים שלטו באזור.

במהלך המלחמות הנפוליאוניות נשלטה העיר פעמיים על ידי צרפת המהפכנית - לראשונה בין 1792 ל-1793, ושוב לאחר מצור שנמשך שבעה חודשים[3]. העיר עמדה בנחישות כה רבה כנגד הכוחות הצרפתיים עד כי הפוליטיקאי והמהנדס הצבאי הצרפתי לזאר קרנו אמר על לוקסמבורג כי היא "(המבצר) הטוב בעולם, מלבד גיברלטר", ובכך העניק תוקף לכינוי "גיברלטר של הצפון" שהוענק לה[3].

אולם, בסופו של דבר נכנע חיל המצב האוסטרי ששהה בלוקסמבורג, וכתוצאה מכך היא סופחה למחוז הצרפתי פורה (Forêts), והעיר עצמה הייתה למקום מושבו של המושל. לפי חוזה פריז שסיים את המלחמות הנפוליאוניות בשנת 1815, עברה העיר לשלטון צבאי פרוסי כחלק מהקונפדרציה הגרמנית, על אף שהריבונות בה נמסרה לבית אוראנז'-נאסאו באוניה פרסונלית עם הממלכה המאוחדת של ארצות השפלה.

לאחר משבר לוקסמבורג נקבע בהסכם לונדון בשנת 1867 כי ביצורי העיר יפורקו. הפירוק נמשך 16 שנים, עלה 1.5 מיליון פרנק זהב, ודרש את הריסתם של 24 קילומטרים של ביצורים תת-קרקעיים ו-40,000 מ"ר של קסרקטינים ומבנים אחרים[4]. נוסף על כך נאלץ חיל המצב הפרוסי לסגת מהעיר[5].

לאחר שוילם השלישי מהולנד מת ב-1890 ללא יורש עצר, הפכה הדוכסות הגדולה לישות מדינית עצמאית תחת שלטון הדוכס הגדול אדולף, והעיר הייתה לבירתה וזכתה שוב במעמד שאבד לה ב-1867.

על אף שהנהגת המדינה עשתה מאמצים רבים לשמור על נייטרליות במלחמת העולם הראשונה, העיר נכבשה על ידי האימפריה הגרמנית ב-2 באוגוסט 1914. ב-30 באוגוסט 1914 העביר הלמוט פון מולטקה הצעיר את מפקדתו לעיר שהייתה קרובה אל כוחותיו הפרוסים בצרפת, ולוקסמבורג נותרה מקום המושב של הפיקוד הגרמני העליון במהלך ארבע השנים הבאות. ב-9 בנובמבר 1918, בסוף תקופת הכיבוש, בוצע ניסיון מהפכה קומוניסטית, והקומוניסטים הכריזו על הקמת רפובליקה סוציאליסטית, אך רפובליקה זו שרדה במשך שעות ספורות בלבד[6].

שטחה המוניציפלי של העיר הורחב ב-1921, והקומונות אייך (Eich), האם (Hamm), הולריך (Hollerich) ורולינגרגרונד (Rollingergrund) סופחו אליה. לוקסמבורג הייתה לקומונה הגדולה במדינה, ושמרה על מעמד זה עד שנת 1978.

העיר נכבשה על ידי גרמניה הנאצית ב-1940. הנאצים לא הסכימו להתיר את קיומו של ממשל מקומי עצמי, ובאופן הדרגתי שילבו את לוקסמבורג לתוך הרייך השלישי עד לסיפוח המלא ב-30 באוגוסט 1942. העיר שוחררה מהכיבוש הגרמני ב-10 בספטמבר 1944[7].

לאחר המלחמה הפסיקה לוקסמבורג לדגול במדיניות של נייטרליות והפכה לחברה בכמה ארגונים בינלאומיים. ב-1952 הוקם בעיר בניין הרשות הגבוהה של קהילת הפחם והפלדה האירופית, וב-1967 מוזגה הרשות עם יתר המוסדות האירופיים. על אף שהעיר חדלה מלהיות מקום המושב של קהילת הפחם והפלדה, היא שימשה עד 1981 כמקום ההתכנסות של כמה מישיבות הפרלמנט האירופי[8]. מאז 1981 העיר היא מקום המושב של מזכירות הפרלמנט האירופי, בית הדין האירופי לצדק, בית המשפט האירופי לביקורת ובנק ההשקעות האירופי. חלק ממחלקות הנציבות האירופית שוכנות אף הן בעיר.