Згідно з деякими історичними даними, невдовзі після вбивства Алі і похорону його тіла в Ен-Наджафі поблизу Багдада деякі з його послідовників переживали, що його тіло буде осквернене його ворогами і вирішили переховати тіло. Поклавши тіло на верблюда, вони йшли кілька тижнів, доки верблюд не впав. Після цього було вирішено поховати тіло на місці падіння верблюда. Місце поховання згодом стало називатися могилою святого, тобто «Мазарі-Шариф» (перс. مزار شریف‎) перською мовою. Згодом навколо поховання виникло місто з аналогічною назвою — Мазарі-Шариф.

Згідно з переказами, могила була виявлена випадково, і останній султан Сельджуцької імперії Ахмад Санджар збудував першу святиню над могилою. У 1220 (XIII століття), під час монгольської навали на чолі з Чингісханом, могила була засипана землею і замаскована, щоб уникнути осквернення з боку монголів. Будівля була зруйнована монголами.

Тільки в XV столітті, з ініціативи і завдяки зусиллям тимурида, правителя Хорасана та поета Хусейна Байкара, на місці поховання було відбудовано заново нинішню будівлю мечеті. Через велику кількість бірюзових кахлів, що покривають її куполи та стіни, будинок отримав назву «Блакитна мечеть».