1764年にエカチェリーナ2世がドイツの画商ゴツコフスキーが売り出した美術品を買い取ったのが、エルミタージュ・コレクションのはじまりである[1][2][3]。

エカチェリーナによって冬宮殿の隣に自身専用の美術品展示室が建てられた（小エルミタージュ、1775年）。エルミタージュは当時のフランス貴族が建てた個人的な離宮を意味した（例としてヴェルサイユのプチトリアノン）。その後もエカチェリーナのコレクションは増加したため、東隣に施設が増築された（旧エルミタージュ、1787年）。なお、劇場も同じ頃に建設されたものである（エルミタージュ劇場、1786年）。

私的なコレクションであり、当時は一般公開されていなかったが、（アレクサンドル2世当時の）1863年に初代館長となったゲデオーノフによって市民も自由に観覧できるようになった[4]。これと前後して新たに施設が増築された（新エルミタージュ、1864年完成）

1917年のロシア革命後は貴族から没収されたコレクションの集積所となった。1918年には冬宮殿に存在した全ての研究、管理組織を建物共々、エルミタージュ美術館として統合することが決定された。この統合作業は第二次世界大戦後に完了した[4]。1930年代には外貨の獲得を目的に政府によって西側諸国への所蔵品の売却が行われている。

2014年12月、近接する旧参謀本部の建物を改修して新館がオープンし、印象派を中心に展示している。