Zgodovina muzeja sega v čas cesarice Katarine Velike, ki je leta 1754 dala poleg paviljona Ermitaž zgraditi veličastni Zimski dvorec. Leta 1764 je v njem uredila prostore za nekatere izmed svojih galerijskih zbirk. Kasneje, v 19. stoletju, je dal cesar Nikolaj I. Ruski zgraditi Novi Ermitaž, v katerega je preselil vso razstavno gradivo in ga leta 1852 odprl za javnost. Med prvo svetovno vojno je bil Zimski dvorec uporabljen kot vojaška bolnišnica. V času po Oktobrski revoluciji, so bile v muzeju na novo razstavljene nekatere nacionalizirane umetnine. Ostale zgradbe so bile zgrajene v naslednjih desetletjih 20 stoletja.[1]