הח'ליף העבאסי הארון א-ראשיד בנה את המבנה הראשון מעל קברו של האימאם עלי בשנת 786 שכלל מבנה קטן עם כיפה ירוקה. בשנת 850 הח'ליף אל-מתוכל הראשון הרס את המבנה, אך אבו חאג'ה, השליט החמדני של מוסול וחלב, בנה מחדש את המסגד בשנת 923 שכלל כיפה גדולה. בשנים 979–980 הרחיבה השושלת הבויהית את המקדש, שכלל אנדרטה על אתר הקבורה וכיפה חדשה, בנוסף הוכנסו שטיחים רצפתיים ותלויים. הסולטאן מלכשאה הראשון תרם מתנות גדולות ושיפץ את הקבר בשנת 1086, וכך גם הח'ליף א-נאצר ומנהיגים אסלאמיים נוספים עד ימינו.

במרץ 1991 במלחמת המפרץ, חייליו של סדאם חוסין נכנסו לקבר בזמן שהיו שם חברי אופוזיציה שיעית וטבחו כמעט בכל יושביו. לאחר המקרה הקבר היה סגור במשך שנתיים, באופן רשמי לתיקונים.