A Tanzània s'han trobat alguns dels assentaments humans més antics, incloent els de la gola d'Olduvai on s'han trobat les petjades humanes més antigues (3,6 milions d'anys) a Laetoli. En aquesta gola es van trobar restes d'Australopithecus i Paranthropus; Tanzània és un dels països en què es creu que van aparèixer els primers éssers humans.

Des d'antany, Tanzània rebé la visita de comerciants estrangers, primer perses i després àrabs, que van anomenar a la Tanzània continental Azania, 'Terra de negres'. Aquests buscaven especialment espècies, esclaus i ivori, i amb el temps van acabar fundant colònies a la costa com a l'illa de Zanzíbar, Kilwa o Pemba, que servien de port d'embarcament i desembarcament de tota mena de mercaderies i finalment van acabar convertint-se en una sèrie de petits soldanats independents habitats per mestissos àrab-africans.

Al segle xvi, Portugal va conquerir Zanzíbar i va dominar la regió durant un segle. Al segle xviii, la costa va ser annexionada per Oman, encara que en 1832 es va independitzar com un soldanat amb capital a Zanzíbar, governat per la dinastia Omani. En les dècades següents, Zanzíbar va entrar en decadència degut a la competència dels tractants europeus i va haver d'evacuar a poc a poc els seus dominis a les costes del continent. Finalment, l'illa de Zanzíbar va passar a formar part de l'Imperi Britànic el 1896, després d'una guerra de 38 minuts, la més curta de la història.

Les part continental de l'actual Tanzània, va ser adjudicada a Alemanya durant la Conferència de Berlín (1884-1885). En virtut d'això, es va crear la colònia de l'Àfrica Oriental Alemanya, també coneguda com a Tanganyika, que incloïa, a més de la major part de Tanzània, els actuals estats de Ruanda i Burundi. El 1905, una revolta dels mají mají contra el govern colonial alemany es va resoldre amb un genocidi en què van morir 75.000 africans. L'Àfrica Oriental Alemanya va ser l'única colònia germana a Àfrica que va resistir les invasions britàniques durant la Primera Guerra Mundial gràcies al geni militar del general Paul von Lettow-Vorbeck, però després de la signatura del tractat de Versalles es va lliurar la major part de Tanganyika a Gran Bretanya, i Ruanda i Burundi a Bèlgica.

Els britànics van administrar Tanganyika fins a 1961, any en què es va independitzar pacíficament i es va convertir en una república sota el govern del moderat Julius Nyerere, líder de la Unió Africana Nacional del Tanganyika (TANU). Per la seva banda, Zanzíbar va ser evacuat pels britànics dos anys més tard i es va convertir en un país independent sota el govern de Sheikh Abeid Amani Karum i el partit d'esquerres Afro-Shirazi, després d'enderrocar al sultà. Tanganyika i Zanzíbar van negociar una unificació d'ambdós estats que va adquirir el nom de Tanzània.

Nyerere, que es va mantenir al poder fins al 1985, va conduir el país seguint una política denominada "Socialisme Africà", internament designada "Ujamaa", que és un mot inventat que vindria a significar "l'abstracte de família", en suahili.

El 1979, Tanzània va declarar la guerra a Uganda, després que Uganda, liderada per Idi Amin, envaís i tractés d'annexar-se Kagera, una província del nord del país. Tanzània primer va expulsar les forces invasores i després va envair la mateixa Uganda. L'11 d'abril de 1979 les forces tanzanes, juntament amb les guerrilles ugandeses i ruandeses, van prendre la capital, Kampala, i van forçar el dictador Idi Amin a exiliar-se.

El sistema de partit únic va finalitzar en 1995, any en què es realitzaren les primeres eleccions democràtiques al país des dels anys 70; l'octubre de 1995 Tanzània celebrà les seves primeres eleccions multipartidistes. L'anterior partit en el poder, Chama cha Mapinduzi (CCM), que significa "Partit de la Revolució", va guanyar folgadament les eleccions i, el 23 de novembre de 1995, el seu candidat Benjamin Mkapa va jurar el càrrec de president de la República Unida de Tanzània. El desembre de 2005, Jakaya Mrisho Kikwete va ser elegit president per un període de cinc anys.

El 17 d'octubre de 2014 el govern de Tanzània va donar la ciutadania a 162.156 refugiats polítics de Burundi en el que ha esdevingut el cas de naturalització més important de la història.[1] A més a més el govern va iniciar el procés de naturalització de 40.000 persones més. Aquests refugiats han viscut sobretot a l'oest del país, a les regions de Tabora i de Katavi des de 1972 i han treballat sobretot en la recol·lecció de tabac i cafè.[1] La ciutadania els dona dret a viure on vulguin al país.[1] Abans Tanzània ja havia naturalitzat a 32.000 refugiats de Ruanda i 3000 bantús de Somàlia (Wazigües). A més, al país hi ha uns 60.000 refugiats de la República Democràtica del Congo.[1]

El govern de Tanzània ha emès una ordre als massais expulsant-los de les seves terres ancestrals situades vora el Parc Nacional del Serengeti perquè hi volen fer una reserva de caça per a la família de l'emir de Dubai.[2] Això és contrari del que havia decidit fa un any, quan havia optat per a deixar-los el seu propi territori.[3] El 18 de novembre de 2014 els seus representants es reuniren amb el Primer ministre Mizengo Pinda per a manifestar-li que hi estaven totalment en contra perquè aquesta zona és fonamental per la seva supervivència, ja que la necessiten per a la pastura dels seus ramats, que són la base de la seva economia.[2] El 2016 el govern tanzanès els havia ofert una compensació d'uns 460.000 euros que havien refusat, ja que consideraven que no podien vendre les seves terres per la seva importància econòmica i sentimental.[2]