Území dnešního města bylo osídleno nejpozději na konci doby kamenné (kolem roku 2200 př. n. l.). Zakladatelem a prvním císařem byl Wanyan Aguda, vládl v letech 1115–1123 a založil dynastii Jin (1115–1234). V roce 1115 Aguda založil Jinovo hlavní město Šanjing (Horní hlavní město), prefekturu Huining v dnešním okrese Acheng v Harbinu. Po Agudově smrti zahájil nový císař Wanyan Šeng výstavbu nového města podle jednotného plánu. Plán a stavby napodobovaly velká čínská města, zvláště Bianjing (Kaifeng), ale hlavní město Jin bylo menší než jeho vzor. Prefektura Huining sloužila jako první nadřazené hlavní město říše Jin až do roku 1153, kdy Wanyan Liang (čtvrtý císař dynastie Jin) přesunul hlavní město do Janjingu (nyní Peking). Jeho nástupce, císař Šizong obnovil město v roce 1173. Ruiny prefektury byl objeveny asi 2 km od dnešní centrální městské oblasti Acheng.

Po dobytí říše Jin Mongoly (1211–1234) byla prefektura Huining opuštěna. V 17. století Mandžuové použili stavební materiál z prefektury Huining ke stavbě nové pevnosti v Alčuce. Oblast Charbin zůstala převážně venkovem až do 19. století, s více než deseti vesnicemi a asi 30 000 lidmi v dnešním městě do konce 19. století

Základy moderního města byly položeny v roce 1895, kdy zde Ruské impérium začalo stavět Transmandžuskou železnici (později přejmenovanou na Východočínskou železnici). Charbin se stal centrem výstavby, byly zde ubytovány desítky tisíc ruských inženýrů, úředníků, vojáků a obchodníků s rodinami. Během rusko-japonské války (1904–1905) se důležitost města ještě zvýšila, neboť zde byla hlavní základna ruské armády v Mandžusku. V letech 1910–1911 zemřelo množství obyvatel na mandžuský mor. Po říjnové revoluci do města přišly desetitisíce emigrantů z Ruska. Počet obyvatel velmi rychle stoupl, v té době se jednalo o největší komunitu Evropanů v Asii. Založili zde katedrálu sv. Sofie.

V roce 1932 začala japonská okupace Charbinu, jež trvala až do skončení druhé světové války. V bezprostředním okolí města prováděli Japonci vědecké a vojenské experimenty známé jako Jednotka 731, při nichž na čínských a spojeneckých zajatcích testovali chemické a biologické zbraně.

Po zřízení Čínské lidové republiky město zůstalo důležitým správním centrem a dopravním uzlem. Bylo zde vybudováno mnoho továren, mezi nimi výrobny traktorů, cementu, turbín, strojů a petrochemické rafinerie. Na přelomu osmdesátých a devadesátých let bylo město otevřeno zahraničnímu obchodu a zahraničním investicím, takže od té doby zažívá čilý ekonomický rozmach.[1]