עבודות הקמת המבנה החלו ב-19 ביוני 1841 בפיקוחה של ועדה שהוקמה על ידי מלך פרוסיה פרידריך וילהלם הרביעי אשר כללה את אוצר המוזיאונים המלכותיים, איגנץ פון וולפרס (Ignaz von Wolfers) וכן את פרידריך אוגוסט שטילר (אשר מונה, על ידי ממשלת פרוסיה בהוראת המלך, ב-8 במרץ 1841, לאחראי על ההקמה).

בשל האדמה הבוצית של אתר הבנייה נדרש להקים את המבנה על 2344 עמודי עץ שאורכם בין 6.9 ל-18.2 מטרים. על מנת להכניס את עמודי היסוד לאדמה נעשה שימוש במנוע קיטור בעוצמה של 5 כוחות סוס, כמו כן מנוע זה הפעיל את המשאבות ששאבו את המים מיסודות המבנה. היה זה הפעם הראשונה שנעשה שימוש באמצעים מכניים בהקמת מבנה בפרוסיה.

ב-6 באפריל 1843 נערך טקס הנחת אבן הפינה של המבנה (לאחר שנבנו יסודות המבנה ומרתפיו). בניית קירות המבנה הושלמה בשלהי שנת 1843 וכרכוב המבנה הושלם בשנת 1844. בשנת 1845 הונחו קורות הברזל אשר תמכו בתקרות המבנה (לראשונה נעשה שימוש בקורות ברזל תעשייתיים בבניית מבנה ציבור בפרוסיה). בשנים 1846–1847 נבנו חזית המבנה המעוטרת, הפסלים המעטרים את המבנה, וחדרי המדרגות המעוטרים שיש. מהפכת 1848 עיכבה את סיום בניית המוזיאון אשר נפתח לציבור בשנת 1855, אולם ציורם של ציורי הקיר במבנה הושלם רק בשנת 1866.

לאחר פתיחת המוזיאון הוצגו בו האוספים המצרי, הפרוסי והאתנוגרפי, בקומת הקרקע; אוספי יציקות הגבס של פסלים יוונים ורומיים וכן אמנות ביזנטית, אמנות גותית ואמנות רנסאנס הוצגו בקומה הראשונה של המוזיאון; אוסף אמנות ימי הביניים, אוסף התחריטים ואוסף האמנות (ה-Kunstkammer), אוסף הדגמים הארכיטקטוניים ואוספי הרהיטים, כלי החרס והזכוכית הוצגו בקומה השנייה.

בשל גודלם של האוספים החל המוזיאון להקים מוזיאונים נפרדים בנושאים שונים ולהעביר אליהם את אוספיו. כך בשנת 1873 נוסד המוזיאון לאנתרופולוגיה (Völkerkundemuseum) שעבר לבניין נפרד ברחוב קוניגרטצר בשנת 1886 (מבנה זה נהרס לחלוטין במהלך מלחמת העולם השנייה).

המוזיאון למלאכות (Kunstgewerbemuseum) שנוסד בשנת 1875 קיבל את אוספי הזכוכית הרהיטים והחרס (כ-7,000 מוצגים) ועבר למבנה אחר ה-מארטין גרופיוס באו (Martin-Gropius-Bau) בשנת 1881.

בשטחים שפונו בקומה הראשונה של המוזיאון החדש הוצג האוסף המצרי ההולך וגדל, ובשטחים שפונו בקומה השנייה הוצגו מוצגים נוספים של אוסף התחריטים שגדל.

בין השנים 1883–1887 נוספה קומת ביניים למבנה (שלא ניתן היה לראותה מחוץ למבנה) ובקומה זו הוצגו יציקות הגבס - אוסף שהלך וגדל במהלך המאה ה-19, עד שהפך לגדול באוספים אלה בעולם. בראשית המאה ה-20 הוחלט להפסיק להציג אוסף זה (המדובר באוסף של יציקות גבס של פסלים רומיים שהיה נפוץ במאה ה-19 ובראשית המאה ה-20 הפסיק להיות פופולרי - ציבור החל להעדיף לראות יצירות מקוריות על פני העתקי גבס) ולהעבירו לאוניברסיטת ברלין. האוסף נהרס לחלוטין בהפצצות שלהי מלחמת העולם השנייה.

במקום שהתפנה בקומה הראשונה של המבנה הוצגו אוספי הפפירוס של המוזיאון המצרי.

בין השנים 1919–1923 כוסתה החצר היוונית בגג זכוכית, ונוספה קומה שנייה לחצר במטרה להציג את הממצאים הארכאולוגיים של אל עמרנה.

בשנת 1939 נסגרו האוספים ומספר רב של חפצי אמנות הוסרו ואובטחו. במהלך מלחמת העולם השנייה נהרס המוזיאון כמעט לחלוטין: ב-19 בנובמבר 1943 נשרף גרם המדרגות המרכזי עם ציורי קיר ומוצגים נוספים, ב-23 בנובמבר 1943 נפגע הבניין בהפצצות ישירות. הפצצות נוספות במהלך פברואר 1945 הרסו את כל האגף הצפוני של המוזיאון וחלק מהאגף הדרומי (לרבות האגף המחבר את המוזיאון החדש עם המוזיאון הישן).

מרבית שטחי המוזיאון החדש נהרסו בהפצצות ולא ניתן היה להשתמש בהם. מוזיאונים אחרים באי המוזיאונים השתמשו בחלקי המבנה ששרדו כשטחי מחסנים. עבודות השיקום של המבנה החלו בשנת 1986 אולם הופסקו זמן קצר לאחר מכן בשל קשיים להשיג מימון לשיקום. בשל הזמן שחלף, פגעי מזג האוויר, ועבודות השיקום החלקיות נהרסו חלקים מהמבנה אשר שרדו את הפצצות מלחמת העולם השנייה (בהם החצר המצרית). במסגרת ההכנות לשיקום המבנה הוסרו עיטורי הקירות ששרדו וחלקים מהמבנה ואוחסנו במקום נפרד. לאחר מכן החלו עבודות חיזוק היסודות והוצאת הפסולת ושרדי המבנה שעמדו על סף קריסה. רק עם סיום עבודות הניקוי והחיזוק החלו עבודות שחזור המבנה. עבודות השחזור הסתיימו בשנת 2009 בעלות של 295 מיליון אירו. החזית הצפון מערבית והחזית הדרום מזרחית של המבנה, אשר נהרסו לחלוטין בהפצצות מלחמת העולם השנייה שוקמו על פי תוכניות של האדריכל האנגלי דייוויד צ'יפרפילד בהתבסס על התוכניות המקוריות של המבנה. המבנה נפתח לקהל ב-16 באוקטובר 2009 ומציג את אוספי המוזיאון המצרי שהוצגו עד אז בבניין המוזיאון הישן, וכן את המוצגים מהמוזיאון הפרה היסטורי (שהוצגו קודם לכן בשלוס שארלוטנברוג).