Ja estava ocupada durant el calcolític amb el ric jaciment arqueològic de Tell Sawwan, amb proves de lli cultivat en regadiu i una estructura social complexa, que exportava la seva ceràmica, que és molt característica de la cultura de Samarra, la qual va ser precursora del període de l'Ubaid sumeri i és una derivació temporal i espacial de la cultura d'Hassuna, al centre de l'Iraq. El seu nucli principal és Tell al-Sawwan, que va tenir una primera fase (vers 5600 a 5400 aC), una fase mitjana (5400 a 5000 aC), en què es va estendre cap al Zab superior (Tell Shemshara) i fins més enllà del Diyala i a l'oest fins a Baghuz, a la riba de l'Eufrates; i una fase tardana (5000-4800 aC) cap a l'est, que només està testimoniada a Choga Mami, on va confluir amb la cultura d'Eridu en l'anomenat període d'Hajji Mohammed.

Durant l'Imperi assiri, Senaquerib refundà una ciutat anomenada Samarrat, que correspon a Samarra (690 aC). En època clàssica, fou la grega Σουμα (Claudi Ptolemeu i Zòsim) i en llatí Sumere (fortalesa esmentada en la retirada de Julià l'Apòstata el 364 per Ammià Marcel·lí, on va trobar la mort).[1] En siríac, la ciutat s'anomenava Shüma'ra.

Durant l'Imperi Sassànida, es va obrir el gran canal de Qatul al-Kisrawi, extensió nord del canal Nahrawan, que porta aigua del riu Tigris. Un canal suplementari hi va ser excavat pel califa abbàssida Harun ar-Raixid.

Del 836 fins al 892, Samarra passà a ser la capital del califat, ja que el califa al-Mutasim abandonà Bagdad, agitada pels mamelucs turcs centreasiàtics, que hostilitzaven la població. El califa buscava una base per a l'exèrcit i una seu per a la cort. La nova capital fou anomenada oficialment Surra Man Raa ('Qui la veu és afortunat'), però el nom popular Samarra fou generalment utilitzat pel poble (una altra teoria és que Samarra deriva del nom oficial, però en realitat aquest hauria estat triat expressament). El palau fou excavat el 1910 per Viollet i després per Herzfeld el 1911-1913. Mort al-Mutasim, restà com a capital sota al-Wathiq, que hi va construir un nou palau anomenat al-Haruni (inundat per l'embassament de Samarra l'any 1950, abans de ser excavat). Després fou la capital d'al-Mutawàkkil (847-861); als anys 860, s'hi van establir tropes turques; en aquest temps, s'hi van construir una vintena de palaus, la nova gran mesquita i tres hipòdroms. El 859, al-Mutawakkil va decidir crear una nova capital al nord del barri d'al-Karkh, a Samarra, que havia de portar el nom d'al-Mutawakkiliyya (també s'esmenta com al-Jafariyya i al-Mahuza).

La ciutat fou capital sota els califes següents. En pujar al tron al-Mútamid el 870, l'exèrcit fou traslladat fora, però el califa hi restà fins al 884 i oficialment fins al 892, quan hi fou enterrat, i el successor, al-Mutàdid, retornà a Bagdad. Va seguir una ràpida decadència i despoblació. Les zones d'al-Matira i al-Karkh continuaren ocupades. Quan al-Muktafi va voler reconstruir la ciutat, el 903, trobà el barri d'al-Djawwak en ruïnes. Un mausoleu per als imams xiïtes Ali al-Hadi i al-Hasan al-Askari fou construït per l'hamdànida Nasir al-Dawla de Mossul i arranjat pels buwàyhides; posteriorment, fou restaurat per d'altres com al-Basasiri (1053-1054) i el califa an-Nàssir; el darrer fou el qajar Nàssir-ad-Din (1868-1869).

Des del segle x, fou una vila de peregrinació, però al segle xiii, després del desplaçament del curs del Tigris, la ruta Mossul-Bagdad passava per l'altre costat del riu i la ciutat va perdre tota importància. No fou emmurallada fins al 1834. La inundació causada per l'embassament als anys 1950 va fer emigrar les poblacions rurals cap a les antigues ruïnes de la ciutat, sobre les quals va sorgir la vila moderna, avui dia centre comercial del districte.