Ce monastère a été fondé en 363. C'est donc l'un des plus anciens du monde chrétien. Son fondateur, un saint ermite du nom de Matthieu, était originaire d'Amida au bord du Tigre. Il fuit avec des compagnons des persécutions sous l'empereur Julien qui frappent sa région natale, juste après avoir conquis la ville qui avait été auparavant prise par le Sassanide Chapour II, et se réfugie dans la plaine de Ninive où il fonde un ermitage sur le mont Alfaf. C'est lui qui convertit le prince Benham et sa sœur Sarah. Au fil des années, une communauté nestorienne se forme dans les environs. Le monastère forme aussi des missionnaires qui partent affermir les communautés chrétiennes des côtes de l'Inde.

Trois siècles plus tard, la région est conquise par les armées musulmanes. En 1171, des troupes kurdes lancent des attaques contre le monastère, mais il est défendu par la population locale qui avait gardé la foi chrétienne. Ensuite les Kurdes proposent aux moines de verser un tribut de trente dinars en échange de la cessation de leurs attaques. Les moines acceptent et renvoient les milices de défense chrétiennes dans les villages. Quelques jours plus tard, les Kurdes s'emparent du monastère qu'ils pillent et tuent quinze moines. Les moines survivants s'enfuient à Mossoul. Le gouverneur de Mossoul vient en représailles chasser les Kurdes qui entretemps avaient massacré des villages de chrétiens et détruit le monastère Saint-Serge (Mar Sergis)[1].

Une autre attaque kurde a lieu en 1369 qui provoque la destruction de nombre de manuscrits. Le XIXe siècle est également ponctué d'attaques kurdes[2] contre le monastère qui de ce fait est abandonné une douzaine d'années[3].

Le monastère est étroitement lié par son histoire à l'Église syro-malankare ; ainsi en 1663, un moine du nom de Yaldo devient maphrien d'Orient au monastère. En 1683, Thomas II de Malabar écrit au patriarche pour lui demander l'envoi d'un évêque et de quatre théologiens. L'année suivante, le patriarche discute de ce sujet au cours d'un synode réuni au monastère Saint-Ananias de Mardin. Le synode conclut par la décision de Yaldo d'abdiquer du maphrianat et de partir en mission en Inde. Il expire quelques jours après son arrivée sur la côte de Malabar, après un voyage éprouvant. Sa dépouille est toujours conservée à l'église saint-Thomas de Kothamangalam, dans le Kerala[4].

Le patriarche de l'Église de l'Orient (dite assyrienne), Simon XXII Paul, s'y réfugie pour fuir le génocide assyrien après 1918.

Un synode important se tient au monastère en 1930 sous le patriarcat d'Élias III qui recommande une scolarisation plus importante des filles, la nécessité des cours de catéchisme pour les enfants dans chaque église et la permission du calendrier grégorien pour les communautés américaines.

Le monastère appartient toujours à l'Église syriaque orthodoxe et il dessert les petits villages chrétiens des environs. La fête du saint fondateur a lieu le 18 septembre marquant ainsi la date d'un pèlerinage au monastère qui est très suivi par les Syriaques orthodoxes ou catholiques, ainsi que par les chrétiens locaux d'autres confessions.

Depuis la mainmise en 2014 des milices islamistes de l'État islamique dans la région, le monastère se trouve sur la ligne de front. Il accueille de nombreuses familles de paysans chrétiens obligés de fuir leurs villages. Le monastère ne bénéficie que de la protection de milices locales du Dwekh Nawsha (milice armée assyrienne) et de Peshmergas (milices kurdes). En juin 2014, l'archevêque syriaque orthodoxe de Mossoul, Mgr Nicodème Daoud Sharaf, parvient à y abriter la relique de saint Thomas qui se trouvait dans l'église Saint-Thomas de Mossoul[5].

La région est libérée de l'État islamique en juillet 2017.