La Nationalgalerie fou fundada el 1861, després de la donació de 262 pintures del banquer Johann Heinrich Wagener. La col·lecció va estar sent exibida primer en l'Akademie der Künste.

L'actual edifici té la figura d'un temple romà; fou dissenyat per Friedrich August Stüler el 1865, seguint un esbós del rei Frederic Guillem IV de Prússia, i la seva construcció fou finalitzada entre el 1869 i 1876 per Heinrich Strack.

L'edifici va ser severament danyat durant la Segona Guerra mundial a causa dels bombardejos. Va ser reobert al públic el 1949, però la reconstrucció en va durar fins a 1969.

Entre 1998 i 2001, el museu es va renovar en gran manera. Hi van ser agregats passadissos i sales per a la col·lecció del romanticisme.