Masjid Jami Herat merupakan masjid pertama yang diperuntukan untuk jemaah, dibangun di dua yang kecil dari kuil-kuil api Zorastrian yang hancur oleh gempa bumi dan kebakaran. Masjid ini dimulai oleh penguasa Ghuriyyah, Ghiyas ad-Din Ghori pada tahun 1200 (597 H), dan setelah kematiannya, bangunan itu dilanjutkan oleh saudara sekaligus penerusnya, Muhammad Ghor. Hal ini dikonfirmasi baik oleh sebuah prasasti di timur Ghuriyyah yang ditemukan pada tahun 1964 selama pemulihan, dan pada abad keenam belas oleh sejarahwan Timurid, Khwandamir di Khulasat al-Akhbar.[1]

Pada tahun 1221, Genghis Khan menaklukkan provinsi ini, dan bersama dengan bangunan di Herat lainnya, bagian kecil gedung banyak yang hancur. Itu tidak terjadi hingga setelah 1245, di bawah Shams al-Din Kart[2] beberapa program pembangunan kembali beberapa gedung dan masjid tidak dimulai sampai 1306.[1] Namun bencana gempa bumi di 1364 membuat keadaan gedung benar-benar hancur, meskipun terdapat beberapa upaya yang dilakukan untuk membangunnya kembali.[1] Setelah 1397, penguasa Timurid mengarahkan pertumbuhan Herat menuju bagian utara kota. Proses sub-urbanisasi dan pembangunan Masjid Gawhar Shad Musalla menandai akhir dari pengelolaan Masjid Jami' oleh monarki. renovasi atas kerusakan selama ini dilakukan dengan konstruksi yang baru dengan ada taman sekitarnya, yang diselesaikan oleh Jalal al-Din Firuzshah, salah satu amir paling menonjol di bawah pemerintahan Shah Rukh (1405-1444). Untuk dekorasi sendiri dilakukan lebih dari lima tahun, dan pekerja didatangkan dari seluruh kekaisaran. Masjid ini kemudian mengalami renovasi terakhir pada pemerintahan Kerajaan Mughal, ketika Pangeran Khurram (Shah Jahan) berjuang untuk menguasai wilayah terhadap suku Uzbek.[1]

Pada separuh abad pertengahan masjid tetap berdiri kokoh, meskipun setelah Perang Anglo-Afgan masjid dibiarkan hancur. Program pembangunan yang dimulai pada tahun 1945 membangun lagi dinding dan ruangan. Diperluas dengan bagian timur laut masjid yang tadinya 101 meter menjadi 121 meter dan bahan material digantikan dengan yang lebih mahal dibandingkan dengan pemerintahan Timurid dan Mughal sebelumnya. Secara keseluruhan, pembangunan yang dilakukan berkali-kali menjadikan masjid berbeda dari kekhasan awalnya.[3] Namun masih tertulis di masjid sebuah Ghorid, Terletak di pintu gerbang utama bagian selatan.[3]

Pada tahun 2012, puluhan pedagang Afganishtan menjajikan pendanaan untuk renovasi masjid.[4]