Osadnictwo na miejscu dzisiejszego Harbinu datuje się od czasów neolitu, 2,2 tys. lat p.n.e. W chińskich kronikach osada pojawiła się po raz pierwszy jako Alèjǐn (阿勒锦). Za czasów dynastii Yuan Harbin był znany pod nazwą Hā’ěrbīn (哈儿滨), a za czasów dynastii Ming pod nazwą Hālābīn (哈拉滨). Chińskie nazwy są transkrypcjami nazw używanych przez tubylców, bo w tamtych czasach Harbin był osadą rybacką zamieszkaną przez protoplastów Mandżurów. Po mandżursku nazwa Harbin oznacza „miejsce suszenia sieci rybackich”.

 Budynek dworca kolejowego w Harbinie Urząd Kolei Wschodniochińskich Japońska kawaleria w Harbinie, 1929

Historia miasta Harbin zaczyna się w 1898, kiedy na miejscu wsi powstała osada pomyślana jako stacja Kolei Wschodniochińskiej. W 1896 carska Rosja wykorzystała słabość Chin i narzuciła im traktat umożliwiający budowę linii łączącej najkrótszą drogą Syberię i Władywostok, z odnogą biegnącą do bazy marynarki w mieście Dalnyj (Dalian) i Portu Artur. W budowie tej linii kolejowej wzięło udział wielu Polaków, w tym inż. Adam Szydłowski, założyciel rosyjskiego Harbinu.

Po wojnie rosyjsko-japońskiej (1904–05) pozycja Rosji w regionie osłabła, a Harbin cieszył się statusem miasta handlowego. Mieszkali w nim przedstawiciele 33 narodowości, działały konsulaty sześciu państw. Szybki rozwój miasta w tym okresie sprawia, że niektórzy nazywają go „mandżurskim Hongkongiem”.

Na skutek rewolucji bolszewickiej do Harbinu napłynęła fala uchodźców i miasto przeistoczyło się w największą poza Rosją enklawę Białych. W tym czasie istniała w mieście także duża społeczność żydowska, złożona z Żydów rosyjskich i niemieckich, którzy uciekli na Daleki Wschód przed prześladowaniami w Europie. Wśród nich znaleźli się m.in. rodzice premiera Izraela, Ehuda Olmerta[1].

Po utworzeniu marionetkowego państwa Mandżukuo, 4 lutego 1932 do Harbinu wmaszerowały japońskie wojska. W 1935 ZSRR sprzedał Kolej Wschodniochińską Japończykom, co przyspieszyło odpływ mniejszości narodowych z miasta. Po wybuchu II wojny światowej (w Azji zaczęła się w 1937 od najazdu Japonii na Chiny) japońska armia utworzyła we wsi Pingfang pod Harbinem obóz koncentracyjny, tzw. Oddział 731, w którym na jeńcach prowadzono okrutne eksperymenty medyczne. Liczba jego ofiar pozostaje dyskusyjna, bo Japończycy zdołali zatrzeć ślady, a zbrodniarze z Oddziału 731 – podobnie jak niektórzy naziści w Europie – uniknęli odpowiedzialności przed Trybunałem Tokijskim, dzięki przekazaniu wyników badań Amerykanom. Według różnych źródeł liczba ofiar obozu waha się od kilkuset do 200 tys. osób.

20 sierpnia 1945 Armia Czerwona zajęła Harbin a w kwietniu 1946 przekazała go chińskiej, komunistycznej Armii Ludowo-Wyzwoleńczej. Władzę nad całym regionem Dongbei do 1954 sprawował protegowany Stalina Gao Gang. Dzięki niemu w pierwszych latach istnienia ChRL z pomocą radziecką rozbudowywano w mieście i okolicach bazę przemysłu ciężkiego. W tamtym czasie w centrum Harbinu powstał, istniejący do dziś, Park Stalina, czyli bulwar nad rzeką Sungari.

Harbin był w 1996 gospodarzem zimowych Igrzysk Azjatyckich. W 2010 zorganizowano w mieście Zimową Uniwersjadę.