La città fu governata successivamente da Aramei, Hurriti, Ittiti, Assiri, Babilonesi, Amorrei, Persiani, Parti, Romani, Arabi, Curdi, Selgiuchidi e Ottomani. In epoca assira faceva parte di Izalla, che si rifletteva ancora nel nome bizantino Izala. La prima menzione con il nome attuale risale al IV secolo in Ammiano Marcellino, che cita le due fortezze di Maride e Lorne sulla strada da Amida, ossia Diyarbakır, a Nisibi.

Le prime popolazioni a insediarsi stabilmente nell'area furono cristiani della Chiesa d'Oriente, che vi giunsero nel III secolo. Fino al XVIII secolo la religione predominante a Mardin rimase quella siro-orientale. Così afferma Simo Parpola:[1]

«Dal terzo secolo in poi gli Assiri si convertirono al cristianesimo in numero sempre maggiore, anche se la religione assira continuò ad esistere. Per esempio ad Harran persistette almeno fino al X secolo; a Mardin fino al XVIII secolo.»

Mardin rimase cristiana durante il dominio islamico califfale, tra il VII e il XII secolo e anche durante il periodo artuqide (dinastia turca che governò l'Anatolia orientale e la Mesopotamia settentrionale tra il XII e il XIV secolo.

La regione artuqide di Mardin cadde in mano mongola nel 1394, anche se i Mongoli non governarono mai direttamente l'area. Mardin fu più tardi dominata dal Sultanato turco degli Ak Koyunlu. La madrasa Kasımiye fu edificata da Sultan Kasım, figlio del sultano degli Ak Koyunlu, Cihangir, tra il 1457 e il 1502.