Het museum is ontstaan in 1764 uit de verzameling van Catharina de Grote, die ruim 300 schilderijen ontving van Johann Ernst Gotzkowsky, omdat hij niet aan zijn verplichtingen kon voldoen. Daarnaast liet zij duizenden schilderijen bij veilingen en uit collecties in West-Europa kopen. Hiermee breidde zij de collectie aanzienlijk uit, die tsaar Peter de Grote was begonnen. De verschillende opvolgers van Catharina de Grote vergrootten de verzameling verder met vele aankopen. Het museum werd onder tsaar Nicolaas I in 1852 voor het publiek opengesteld.

De tsarina liet in 1745 meerdere katten in het paleis toe, zodat deze op ongedierte konden gaan jagen. Anno 2020 leven er ongeveer 70 katten in het complex om de collectie tegen vraat te beschermen. Deze katten worden verzorgd door drie vaste medewerkers.

De collectie werd gedurende de Eerste Wereldoorlog, voor de zekerheid, gestald in Moskou. Het gebouw deed dienst als hospitaal. Eerst in 1921 kreeg de collectie weer haar plek in de Hermitage terug.

Tijdens de Revolutie van 1917 werd de tsaar afgezet en werden alle paleizen, inclusief kunstwerken, genationaliseerd en werden Hermitage en Winterpaleis tot museum verklaard. Gedurende de jaren daarna, tot 1930, werden eveneens talloze privécollecties in geheel Rusland toegevoegd of tot museum verklaard.

Aangezien Moskou weer de hoofdstad moest zijn, werden in 1927, na uitgebreide onderhandelingen, rond 500 objecten van de Hermitage naar Moskou verscheept. Hieronder waren werken van Rembrandt, Rubens, Van Dyck, Nicolas Poussin en Paolo Veronese. In de vroege jaren 30 gebeurde hetzelfde met nog eens 70 schilderijen.

Intussen verkocht een communistische organisatie, Antiquariat, in het geheim, tussen 1929 en 1932, Rembrandts Pallas Athene, Portret van Titus en Portret van een oude man aan de Armeense miljonair Calouste Gulbenkian in Portugal, en Een Poolse edelman, Meisje met een bezem en Portret van een vrouw met een corsage aan de Amerikaanse minister van financiën, miljonair en kunstverzamelaar Andrew Mellon, en ten slotte Petrus verloochening van Christus aan het Rijksmuseum - in totaal 7 schilderijen van Rembrandt. Ook de "Annunciatie" van Jan van Eyck werd aan Mellon verkocht en kwam zo in de collectie van de National Gallery of Art in Washington terecht. Het is het enige authentieke werk van Jan van Eyck dat zich in de Verenigde Staten bevindt. Alles bij elkaar verloor de Hermitage in die periode 50 werken van topschilders.

Het museum overleefde het Beleg van Leningrad in de periode 1941-1944 (zij het met enige schade aan het gebouw), ondanks Hitlers opdracht om de gehele stad te vernietigen. De topstukken van de collectie werden toen tijdelijk ondergebracht in een gebied achter de Oeral. In november 1945 werd de Hermitage opnieuw voor het publiek toegankelijk. Evenwel duurde het herstel van door artillerievuur en luchtbommen getroffen gebouwen nog enige jaren.

In 1948 ontving de Hermitage 316 schilderijen vanuit het kort voor de oorlog gesloten Staatsmuseum voor Nieuwe Kunst (nu Poesjkinmuseum) in Moskou. Deze schilderijen uit eind 19e, begin 20e eeuw van schilders zoals Claude Monet, Pierre-Auguste Renoir, Paul Cézanne, Henri Matisse en Pablo Picasso waren afkomstig van de Moskouse industriëlen en kunstverzamelaars Sergej Sjtsjoekin en Ivan Morozov.