Die Masjid-i Jami von Herat, die erste Freitagsmoschee der Stadt, wurde am Ort von zwei kleineren Zoroastrischen Feuertempeln errichtet, welche durch Erdbeben und Feuer zerstört worden waren. 1200 begann der Ghuridische Führer Ghiyas al-Din Ghori mit dem Bau, nach seinem Tod wurde das Projekt von seinem Bruder und Nachfolger Muhammad von Ghor fortgeführt. Dies wird nicht nur durch eine Inschrift beim östlichen Eingang, welche 1964 bei Restaurierungsarbeiten entdeckt wurde, sondern auch durch den Timuridischen Geschichtsschreiber Khwandamir (ca. 1475 bis ca. 1535) in dessen Khulasat al-Akhbar bestätigt.

1221 nahm Dschingis Khan die Provinz ein und wie ein Großteil der Stadt Herat fiel auch die damals noch kleine Moschee den Feinden zu Opfer. Erst 1245 wurden unter Sham al-Din Kart Versuche unternommen, das Gebäude wiederaufzubauen[1], aber eigentliche Bauarbeiten fanden bis 1306 keine statt. Ein verheerendes Erdbeben 1364 ließ die Moschee beinahe vollständig zerstört zurück, auch wenn ein paar Versuche gestartet wurden, sie wiederherzustellen. Nach 1397 legte der damalige Herrscher den Fokus des Wachstums von Herat wieder auf den nördlichen Teil; dies sowie der Bau einer neuen Freitagsmoschee in Gawhar Shads Musalla bedeutete das Ende der königlichen Unterstützung für die Masjid-i Jami. Mit einem gänzlich neuen Gebäude und zugehörigen Gärten wurde das zerstörte Gebetshaus ersetzt, alles auf Wunsch von Jallal al-Din Firuzshan, einer der prominentesten Emire unter Schāh Ruch (1405–1444). Allein die Verzierungen brauchten über fünf Jahre bis zu ihrer Vollendigung, da der Emir dafür Arbeiter aus dem ganzen Reich bestellte. Die Moschee wurde später unter dem Mogulreich nochmals renoviert, als Prinz Khurram (Shah Jahan) um die Kontrolle der Region gegen usbekische Sippen ankämpfte.

Wenig der mittelalterlichen Moschee ist noch übrig, nach den anglo-afghanischen Kriegen war ein Großteil des Gebäudes in Trümmern. Ein Projekt von 1945 veranlasste den Wiederaufbau der Wände und Räume, die Ausweitung der nordöstlichen Sektion von ungefähr 101 auf 121 Meter sowie die Auswechslung von teuren Materialien aus den mittelalterlichen Timuriden- und Mogulreichen mit lokal verfügbaren, billigen Stoffen. Insgesamt haben die zahlreichen Wiederaufbauten und Restaurierungen wenig von der ursprünglichen Moschee übriggelassen. Trotzdem blieb der Ghuridische Eingang südlich vom Haupteingang mit der Inschrift bestehen.[2]

2012 versprachen fünfzig Afghanische Händler finanzielle Mittel für die Renovation der Großen Moschee.[3]