A presença humana em Harbin data de pelo menos 2200 antes de Cristo (Idade da Pedra tardia). A cidade já foi chamada Pinkiang.

A moderna Harbin originou-se em 1898, a partir de uma pequena vila, com o começo da construção das ferrovias chinesas (KVZhD) pela Rússia, uma extensão da Ferrovia Transiberiana.

Após a derrota russa na Guerra Russo-Japonesa (1904-1905), a influência russa na região diminuiu, e milhares de estrangeiros de 33 países, incluindo Estados Unidos, Alemanha e França, mudaram-se para Harbin. Dezesseis países lá estabeleceram consulados, e vários bancos e companhias industriais e comerciais.

Os chineses também logo estabeleceram negócios na cidade, tais como indústrias têxteis e alimentícias, e Harbin logo se estabeleceu como um grande centro do Nordeste da China e uma metrópole internacional.

Em dezembro de 1918, durante a Guerra Civil Russa, refugiados russos buscaram abrigo na cidade, que então tornou-se um grande centro de emigrantes russos, com a maior comunidade russa no exterior. Os russos estabeleceram escolas no sistema russo e passaram a publicar jornais em russo.

Com a venda da ferrovia (KVDZhD) aos japoneses, Harbin tornou-se parte do Estado Manchukuo, controlado pelos japoneses. Lá instalou-se a Unidade 731, dirigida pelo general Shiro Ishii, que realizava experiências usando humanos como cobaias. Em 1946, Harbin passou ao controle da República Popular da China, que ocupou a região. O restante da comunidade de europeus (russos, alemães, poloneses, gregos, etc.) emigrou durante os anos de 1950-1954 para a Austrália, Brasil e os Estados Unidos, ou retornaram aos seus países de origem.