올두바이 협곡에서 출토된 180만년 전의 찍개

동아프리카에 살던 토착 부족은 수렵채집사회 부족이자 고립어 화자들인 하자족과 산다웨족으로 추정하고 있다.[1]

최초의 타민족 유입은 오늘날의 에티오피아 지역에서 남쪽으로 건너온 남부쿠시어군 화자들이다. 언어학적인 증거로 미루어보아 이들의 언어는 이라크어, 고로와어, 부룬게어의 조상들로 추정되며, 약 4000년~2000년 전에는 투르카나호 북쪽에서부터 동부쿠시어군 화자들도 건너온 것으로 추정하고 있다.[2] 고고학적인 증거들을 통해 볼 때 약 2900년~2400년 전에 남부나일어파 화자들이 오늘날의 에티오피아 및 남수단 지역에서 중북부 탄자니아 지방으로 들어온 것으로 추정하고 있다.[3]

이러한 움직임들은 빅토리아호와 탕가니카호에서 건너온 철기 문명의 반투족들의 이주와 거의 동시에 나타났다. 이들은 서아프리카의 농업 양식과 주식인 얌을 전파시켰다. 이들은 2300년~1700년 전에 탄자니아의 나머지 지역들로 퍼져나갔다.[4] 마사이족을 포함한 동부나일어족 화자들은 오늘날의 남수단 지역에서 500~1500년 전에 들어왔다.[5]

페르시아만과 인도 지역에서 온 여행가들과 상인들은 1세기부터 동아프리카를 방문하기 시작했다. 10세기경에 아라비아반도와 페르시아만 지역에서부터 건너온 이민자들이 동아프리카 지역에 정착하기 시작했고, 시간이 흐르며 동아프리카 해안가를 따라 더 남쪽으로 내려가기 시작했다.[6] 14세기 즈음에는 아랍인과 동아프리카 원주민들 사이의 통혼으로 아랍인 이민자들이 점차 동아프리카 원주민들과 동화되기 시작했다.[7] 이 시기에 이슬람교가 탄자니아에 전해졌다.

 

1572년 탄자니아 킬와의 모습

16세기 초반 포르투갈 제국이 동아프리카를 점령했으며, 1652년 포르투갈 제국령 몸바사가 포르투갈 제국에 대항하고자 오만에 도움을 요청했고, 오만은 동아프리카에 군대를 보내 포르투갈 제국에 대항하는 세력을 지원했다.[8] 1698년에 오만은 몸바사에서 포르투갈 제국을 축출했고, 곧 마지막으로 남아있던 포르투갈 제국의 동맹인 잔지바르를 점령하며 동아프리카에서 영향력을 쌓았으며, 약 100여년 뒤부터 동아프리카를 통치하기 시작했다.[9]

오만의 술탄 사이드 빈 술탄은 수도를 잔지바르시티로 옮겼고, 이 시기에 아랍 상인들이 탄자니아에서 노예 무역을 수행하였다. 1880년대부터 1919년까지는 독일 제국의 식민지였으며, 그 후 1961년까지는 영국의 식민지였다. 1960년에 줄리어스 니에레레가 영국령 탕가니카의 장관이 되었고, 그는 1961년에 독립국 탕가니카의 총리가 되었다.

탕가니카는 1963년에 독립한 잔지바르와 합병, 1964년 4월 26일에 탄자니아 공화국이 되었다. 1967년에는 케냐, 우간다와 함께 동아프리카 공동체의 창설을 주도했다. 니에레레는 정의와 평등을 '우자마(ujamaa)'로 불리는 아프리카적인 마르크스주의를 도입하였으나, 집단 농장제의 실패로 경제는 파탄하고 식량 부족에 시달리게 되었다. 현재는 시장경제중심의 경제정책을 실시하고 있다.

1979년 우간다가 탄자니아 북부 지역을 침공하자, 탄자니아는 우간다에 선전 포고를 하고 반격하여, 우간다군을 격퇴하고 독재자 이디 아민을 축출하였다.

니에레레는 1985년 알리 하산 음위니에게 권력을 넘겨주었으나, 집권당 의장직은 1990년까지 유지하였다. 1995년 10월에 일당제가 종식되고, 최초의 다당제 선거가 이루어져, 1995년 11월 23일 벤자민 음카파가 탄자니아 연방 공화국의 새 대통령으로 취임하였다.

2004년 12월 26일, 근현대사 최악의 자연재해 중 하나인 2004년 인도양 지진해일의 영향으로 진원지인 수마트라 서안을 포함한 인도양 연안 국가에서 약 22만 명이 사망하였다. 탄자니아에서도 이 해일의 여파로 11명이 사망하였다.