De stad werd pas in 1898 gesticht door de Russen, die daar toen al veel invloed hadden, en groeide toen uit van een dorpje naar een grote stad. In 1904 namen de Russen heel Mantsjoerije in, maar verloren het in 1905 alweer aan Japan. Na de Russische Revolutie (1917) de daaropvolgende burgeroorlog vluchtten vele anticommunistische 'witte' Russen en Joden naar Harbin. De voormalige Russisch-orthodoxe Sofiakathedraal is nog een overblijvend bewijs van die Russische invloed. Pas in 1946 kwam het gebied weer geheel onder (communistisch) Chinese controle. De grote Europese migrantengemeenschap vertrok toen grotendeels naar andere delen van de wereld.

In 1933 werd bij de aanleg van een spoorbrug de "Harbinschedel" gevonden, die echter verborgen werd gehouden voor de Japanse bezetters en later de communistische heersers. Pas sinds 2018 wordt de schedel bestudeerd door paleontologen aan de universiteit van Hebei, die de ouderdom hebben bepaald op 140.000 jaar. Er is sprake van een nog onbekende mensensoort, Homo longi.[1]

Van 1935 tot 1945 was de buitenwijk Pingfang de locatie van de beruchte eenheid 731, een geheime divisie van het Japans Keizerlijk Leger, waar tijdens de Tweede Wereldoorlog een van de ernstigste gevallen van oorlogsmisdaden hebben plaatsgevonden. In het gevangenenkamp lieten 3.000 mensen het leven bij gruwelijke experimenten en tienduizenden in veldexperimenten buiten het kamp.