Les premières traces d'occupation humaine dans la région de Harbin datent d'au moins 2200 av. J.-C. (fin de l'âge de la pierre). Cet endroit s'appelait auparavant Pinkiang.

La fondation de la ville actuelle de Harbin date de 1898, avec la construction du Chemin de fer de l'Est chinois par la Russie. Après la défaite russe lors de la Guerre russo-japonaise (1904-1905), l'influence de la Russie a diminué et 160 000 ressortissants de trente-trois pays (notamment les États-Unis, l'Allemagne et la France) s'installèrent à Harbin. Seize pays y établirent des consulats et y implantèrent plusieurs milliers d'entreprises industrielles, commerciales et bancaires. Les Chinois s'y établirent aussi, en ouvrant notamment des entreprises de brassage, de production alimentaire ainsi que des industries textiles. Harbin avait dès lors assis son statut de métropole du nord-est de la Chine.

En décembre 1918, pendant la guerre civile russe, le général Khorvat, aidé de gardes blancs et de troupes chinoises, prit la ville, qui devint par la suite un centre important de la communauté juive et de Russes blancs émigrés. La présence russe est à l'origine de l'implantation de l'Église orthodoxe dans la région[1] dont l'ancienne cathédrale Sainte-Sophie est aujourd'hui un vestige.

L'Armée impériale japonaise occupa Harbin à partir du 4 février 1932. Elle implanta dans le village de Ping Fang, près de Harbin, l'unité 731, où des médecins nippons pratiquaient des expérimentations sur des cobayes humains, sous la direction de Shiro Ishii. La ville est incluse dans le Mandchoukouo créé le 18 février 1932.

L'Armée rouge prit la ville le 20 août 1945. Après une période sous l'administration du Kuomintang, la ville tomba sous la domination de l'Armée populaire de libération chinoise en avril 1946. Les Russes qui n'avaient pas pris la fuite furent déportés vers la Sibérie.

Les huit cantons de Harbin étaient à l'origine une partie de la préfecture du Songhuajiang (松花江地区) et sont intégrés à la ville le 11 août 1996, faisant de Harbin une cité sous-provinciale.

Le 23 novembre 2005, une importante nappe de benzène dans le fleuve Songhua, dans le nord de la Chine, menace les habitants de la ville de Harbin, l'une des plus peuplées du pays avec près de 4,6 millions d'habitants. Une explosion dans une usine pétrochimique de Jilin, dix jours auparavant, est à l'origine de cette pollution. L'agence chinoise de l'environnement ne confirme l'accident environnemental que 10 jours après l'explosion à l'usine publique China National Petroleum Corporation. L'explosion, qui a fait 5 morts, a alors provoqué la formation d'une nappe de benzène, un solvant toxique, de 80 km de long.

La ville fait face en 2013 à une pollution de l'air, qui se traduit par un pic de pollution lié à l'arrivée de l'hiver et à l'utilisation du chauffage domestique en date du 21 octobre. Les relevés atmosphériques indiquaient un indice de 1 000 pour les particules fines PM2,5 (particules dont le diamètre est de 2,5 micromètres)[2].

La visibilité est réduite à 50 mètres dans certains endroits de la ville et à moins de 500 mètres dans les villes voisines de la province de Jilin[3]. Les médias locaux font un lien entre cette pollution et le chauffage mis en marche pendant l'hiver[4].