하얼빈 시내에 있는 금나라를 세운 완안아골타의 동상

하얼빈에 사람이 살기 시작한 것은 석기 시대 말기인 기원전 2200년경부터이다.

하얼빈의 상당한 지역은 본래 부여에 속하였으며 이를 고구려와 발해가 이어받았다. 발해는 이지역에 막힐부를 설치했다.

발해가 멸망한 뒤에 생여진이 발해의 옛땅이 있던 지린성과 헤이룽장성일대에 정착했는데, 이들중 훗날에 금나라를 세우게 되는 완안부가 이지역의 아청 구에 거점을 두고 있었다. 이 거점은 훗날 상경 회령부로 격상되어 금나라의 수도 역할을 했으나, 금나라가 중도로 수도를 옮긴후 금나라가 멸망하면서 잊혀졌다.

본격적으로 도시가 건설된 것은 1898년 러시아가 시베리아 횡단 철도를 블라디보스토크까지 연장하는 동청철도를 건설하면서였다.

러일전쟁에서 러시아가 패하고 그 영향력이 줄면서 미국, 독일, 프랑스 등의 사람들이 모여들기 시작했다. 16개 나라의 영사관이 개설되고, 수백 개의 공장과 기업, 은행이 세워지면서 만주의 중심 도시로 성장하게 되었다.

1909년 10월 26일 안중근 의사가 항일 운동 목적으로 하얼빈역에서 일본의 이토 히로부미를 사살한 곳으로도 많이 알려져 있다.

1918년 러시아 내전에서 패한 러시아 백군이 이 도시로 피난오면서 러시아 바깥에서 가장 큰 러시아인 사회가 형성되었다. 동시에 러시아 출신의 유대인 공동체도 만들어졌다. 러시아식 학교와 러시아어 신문도 발행되었다.

1935년 둥칭철도가 일본에게 팔린 후, 그리고 1946년 이후 러시아인은 대부분 소비에트 연방으로 되돌아갔다. 다른 유럽인들도 오스트레일리아나 브라질, 미국으로 다시 이민 가거나 자신들의 모국으로 되돌아 갔다. 1988년까지 하얼빈에 남아 있던 러시아인은 나이든 30여 명뿐이었다.

만주국이 세워지면서 일본군은 1932년 2월 4일부터 하얼빈에 진주하였지만, 1945년 8월 20일에는 소련군이 하얼빈을 점령했다. 하얼빈은 중국인민해방군에게 1946년 4월에 통치권이 넘어갔다.