În anul 977, Adud al-Dawla, membru al dinastiei Buyde, decide să construiască o moschee peste mormântul califului Ali, mort în anul 661. Moscheea a fost reconstruită în anul 1086, de către sultanul selgiucid, Malik Shah, după ce fusese distrusă de un incendiu. În anul 1500, moscheea a fost extinsă de către șahul Ismail I, fondatorul dinastiei Safevide.

În timpul protestelor din martie 1991, ca urmare a războiului din Golful Persic, președintele Saddam Hussein și gărzile sale au intrat în moschee unde au ucis toți liderii opoziției șiite. După aceea, moscheea a fost închisă timp de doi ani pentru reparați.

În prezent, moscheea a fost renovată de către Mohammed Burhanuddin, liderul spiritual al musulmanilor șiiți din Irak.