Územie dnešného mesta bolo osídlené najneskôr na konci kamennej doby (okolo roku 2200 pred Kr.).

 

Pohľad na ulicu Kitaisukaja v 40. rokoch

Základy moderného mesta boli položené v roku 1895, keď tu cárske Rusko začalo stavať Transmandžuskú železnicu (neskôr premenovanú na Východočínsku železnicu). Charbin sa stal centrom výstavby, boli tu ubytované desiatky tisíc ruských inžinierov, úradníkov, vojakov a obchodníkov s rodinami. Počas rusko-japonskej vojny (1904–1905) sa dôležitosť mesta ešte zvýšila, lebo tu bola hlavná základňa ruskej armády v Mandžusku. Po októbrovej revolúcii do mesta prišli desaťtisíce emigrantov z Ruska. Počet obyvateľov veľmi rýchlo vystúpil, vtedy išlo o najväčšiu komunitu Európanov v Ázii.

V roku 1932 sa začala japonská okupácia Charbinu, ktorá trvala až do skončenia druhej svetovej vojny. V bezprostrednom okolí mesta robili Japonci vedecké a vojenské experimenty známe ako Unit 731, pri ktorých na čínskych a spojeneckých zajatcoch testovali chemické a biologické zbrane.

Po zriadení Čínskej ľudovej republiky mesto zostalo dôležitým správnym centrom a dopravným uzlom. Bolo tu vybudovaných veľa tovární, medzi nimi továrne na výrobu traktorov, cementu, turbín, strojov a petrochemické rafinérie. Na prelome 80. a 90. rokov bolo mesto otvorené zahraničnému obchodu a zahraničným investíciám, takže od tej doby zažíva ekonomický boom.

V roku 2000 tu bola otvorená Dračia veža (Lung tcha), 8. najvyššia veža Číny.

20. mája 1928 bol Charbine zriadený exarchát pre ruských katolíkov byzantského obradu, ktorý je od r. 1953 vakantný (uprázdnený, bez exarchu).[1] Jeho dočasným správcom bol v roku 1934 aj slovenský jezuita Vendelín Javorka. Po druhej svetovej vojne väčšina jeho veriacich ušla do Austrálie, Severnej alebo Južnej Ameriky, časť bola deportovaná do Sovietskeho zväzu.