L'édifice existe dès avant le XIe siècle, car elle était le lieu où enseignait Khawâdjâ Abdallâh Ansârî (1006-1089), poète, théologien et écrivain. La mosquée occupe peut-être le site de lieux de culte antérieurs, grecs et zoroastrien[1].

Ghiyath ad-Dîn Muhammad, de la dynastie ghoride, transforme l'édifice à partir de juin 1200,et il y est inhumé. La mosquée est détruite lors du sac d'Hérat par les Mongols en 1221-1222[1].

Après un tremblement de terre, la mosquée est relevée de ses ruines au XIVe siècle puis reconstruite sous les Timourides. Shahrokh, plus jeune des quatre fils de Tamerlan, échappe à un assassinat dans la cour de l'édifice le 21 février 1427[1].

Des travaux sont entrepris dans l'édifice à l'extrême fin du XVe siècle, sous la direction de Mir Alicher Navoï[1].

La fragilité des décors nécessite une attention de tous les instants[2]. Robert Byron découvre un édifice en mauvais état en 1933, « il n'y a pas de couleur : uniquement de l'enduit à la chaux, de la mauvaise brique et quelques bouts de mosaïque cassée ». Les édifices de la ville sont recensés par l'American Institute of Iranian Arts dans les années 1930 et la mosquée est étudiée par Ruedi Stucker[2].

Le roi d'Afghanistan Mohammad Zaher Shah décide de reconstruire l'édifice en 1943, qui est agrandi. Les céramiques recouvrent les murs dès 1956[3].

L'édifice est ébranlé par les manœuvres des blindés lors de la Révolution de Saur et de l'occupation soviétique du pays, destinées à surveiller la vieille ville. L'édifice est touché par des roquettes en 1986 mais les autorités soviétiques font promptement réparer les dégâts[3].

Des travaux sont réalisés à partir des années 1990 : en 1993 la grande cour est dallée, l'UNESCO soutient l'atelier de restauration des céramiques au début des années 2000, années qui voient également réalisés des travaux de réfection des toits afin d'éviter les infiltrations[3].