לואי ה-14 יזם את בניית מתחם זה על ידי צו שמתוארך ל-24 בנובמבר 1670, כבית מחסה והבראה לחיילים שנפצעו בזמן שירותם הצבאי ולחיילים נכים (בצרפתית: Invalide).[1] ליברל בראיינט נבחר תחילה לשמש כאדריכל של האינווליד, האתר שנבחר ממוקם במישור הפרברי של גרנלה (Plaine de Grenelle). עד לסיום הפרויקט המורחב ב-1676, אורך החזית שפונה אל הסן היה 196 מטר, ולמתחם היו 15 חצרות שהגדולה מביניהם הייתה חצר הכבוד (Cour d'Honneur) שיועדה לשמש מצעדים צבאיים.

יוצאי הצבא נזקקו גם למקום פולחן. לשם כך ז'ול הרדוין-מנסארט סייע לבראיינט הזקן, והקפלה נבנתה לפי עיצובו של בראיינט לאחר מותו בשנת 1697. קפלה זו מוכרת בשם כנסיית סן לואי-דה-אינווליד (Saint-Louis-des-Invalides). נוכחות יומית חובה של יוצאי הצבא בשירותי הכנסייה הונהגה באינווליד. זמן קצר לאחר שהחלו התפילת של יוצאי הצבא, לואי הארבעה עשר הזמין את מנסארט לבנות קפלה מלכותית פרטית נפרדת, המכונה כיום כנסיית הכיפה על שם המאפיין הבולט ביותר שלה. בניית הקפלה הכיפתית הסתיימה בשנת 1706.

בשל מיקומו ומשמעותו, האינווליד שימש כמקום התרחשותם של כמה אירועים מרכזיים בהיסטוריה הצרפתית. ב-14 ביולי 1789 הסתערו פורעים פריזאים על האינווליד ותפסו את התותחים והמושקאות המאוחסנים במרתפיו, והשתמשו בהם להריסת הבסטיליה מאוחר יותר באותו יום. נפוליאון נקבר מתחת לכיפת האינוולידים בטקס מפואר בשנת 1840. בדצמבר 1894 נערך אירוע הורדת הדרגות וההשפלה של סרן אלפרד דרייפוס לפני הבניין הראשי, ואילו טקס החזרת הדרגות שלו התקיים בחצר המתחם בשנת 1906.

הבניין שמר על תפקידו העיקרי שהיה בית אבות ובית חולים ליוצאי צבא עד תחילת המאה העשרים. בשנת 1872 הוקם המוזיאון הארטילרי בתוך הבניין, אליו הצטרף המוזיאון ההיסטורי של הארמיות בשנת 1896. שני המוסדות אוחדו ויצרו את המוזיאון הצבא הנוכחי ב-1905. באותה תקופה יוצאי הצבא שחיו בבית המגורים התפזרו למרכזים קטנים יותר מחוץ לפריז. הסיבה הייתה כי אימוץ מצד צרפת של מודל צבא העם לאחר 1872, פירושו היה צמצום משמעותי במספר יוצאי הצבא שהיו להם עשרים שנות שירות צבאי או יותר שהיו תנאי סף לשיכון בבית האינוולידים. בהתאם, הבניין הפך גדול מדי לייעודו המקורי. אולם המתחם המודרני עדיין כולל את המתקנים המפורטים להלן עבור כמאה חיילים לשעבר קשישים או חסרי יכולת.