Vanaf 1882 opende Jacobsen zijn collectie voor het publiek, simpelweg door zijn huis Bakkegård in Valby open te stellen. In 1888 was de collectie zo gegroeid dat Jacobsen een deel ervan afstond. De Franse en Deense kunst werd, via de staat en de stad, aan het volk geschonken met de voorwaarde dat er een museum voor gebouwd werd.

De door Jacobsen uitgekozen architect Vilhelm Dahlerup bouwde het museum, dat werd geopend op 1 mei 1897. In januari 1899 schonk het echtpaar Carl en Ottilie Jacobsen ook hun collectie kunst uit de oudheid. Hiervoor werd het museum door de architect Hack Kampmann uitgebreid met een nieuwe vleugel. Dahlerup verbond het oude en nieuwe deel met een overdekte wintertuin (in een soort serre) met een groot koepeldak. Het werd geopend in 1906. Hierna volgden kleine uitbreidingen en renovaties. In 1996 werd het museum voor de laatste keer uitgebreid met een nieuwe vleugel, ontworpen door Henning Larsen om de Franse werken onder de juiste klimaatomstandigheden tentoon te stellen. In de 21ste eeuw onderging het museum een grote renovatie om het honderdjarige bestaan van de glyptotheek in 2006 te vieren.