Die Stadt wurde nacheinander von den Aramäern, Hurritern, Hethitern, Assyrern, Babyloniern, Amoritern, Persern, Parthern, Römern, Arabern, Kurden, Seldschuken und Osmanen beherrscht. In assyrischer Zeit war sie Teil von Izalla, was sich in der frühbyzantinischen Bezeichnung Izala niederschlug. Ammianus Marcellinus erwähnt im vierten Jahrhundert die zwei Festungen Maride und Lorne auf dem Weg von Amid (Diyarbakır) nach Nisibis. Auf Aramäisch heißt die Stadt Marde bzw. Merde; im Oströmischen Reich hieß sie auf Griechisch Mardia oder Margdis, unter den Arabern dann Mardin. Unter der türkischen Herrschaft wurde dieser Name beibehalten.

1915/16 wurden die meisten arabischen, aramäischen und armenischen Christen der Stadt im Zuge des Völkermords an den Armeniern und an den Aramäern umgebracht.[1][2][3] Erstmals fand am 15. August 1915 ein öffentlicher Handel mit armenischen Frauen statt.[4]

Der Bischof von Mardin ist zugleich der Abt des Klosters Deyrülzafarân. Der syrisch-orthodoxe Patriarch hatte ab 1293 seinen Sitz bei Mardin. 1924 verlegte er den Sitz des Patriarchats in das französische Mandatsgebiet. Von 1850 bis zum Völkermord an den Aramäern war Mardin auch Sitz des Oberhaupts der syrisch-katholischen Kirche.[5] Das Gebäude der Patriarchatskirche wurde nach dem Völkermord vom Militär genutzt, bis 1988 das Kulturministerium das Gebäude der syrisch-katholischen Kirche abkaufte und dort 1995 das Mardin Museum errichtet hat.[5][6]

Im Zuge einer Verwaltungsreform wurde mit Gesetz Nr. 6360 vom 12. November 2012 die provinziale und kommunale Selbstverwaltung der Provinz Mardin als Großstadtkommune (Büyükşehir Belediyesi) organisiert. Für das gesamte Gebiet der Provinz wurde eine kommunale Organisation, die Mardin Büyükşehir Belediyesi eingerichtet. Diese verdrängte auch die aufgelöste Selbstverwaltung der Provinz, die İl Özel İdaresi, die bisher unter dem Vorsitz des Gouverneurs von der Provinzversammlung, der İl Meclisi geleitet wurde. Auf untergeordneter Verwaltungsebene wurde in jedem Unterbezirk (İlçe) eine gleichnamige Gemeinde eingerichtet. Der bisher dem Gouverneur direkt unterstehende Zentralbezirk (Merkez İlçesi) wurde unter Vergrößerung zum İlçe Artuklu mit einer eigenen Verwaltung und einer eigenen (Teil-)Gemeinde, die auch die bisherige Stadtgemeinde ablöste. Die Mahalle (Stadtviertel/Siedlungseinheiten) der bisherigen Provinzhauptstadt und der bisherigen İlçe-Zentren blieben erhalten; im Übrigen wurden die Dörfer und alle anderen Gemeinden in Mahalle überführt. Provinz und Großstadtkommune wie die Institutionen auf İlçe-Ebene fungieren parallel jeweils im selben Territorium mit getrennten Verwaltungen als staatliche und kommunale Behörden.[7]