De moskee werd gebouwd door isma'ilieten, een sjiitische stroming binnen de islam die in het begin van de tiende eeuw het Kalifaat van de Fatimiden stichtten in wat nu Tunesië is. De moskee werd ontworpen door de Fatimistische generaal Jawhar El-Sequili (Gawhara Qunqubay, Gawhar al-Sakkaly) en in opdracht van kalief Muezz Li-Din Allah. De reden van de stichting in 971 was het eren van Fatima Zahra, een van de vier dochters van de profeet Mohammed. Deze stichting viel ongeveer samen met de stichting van Caïro in 969.

Hoewel de Fatimiden de macht 200 jaar later aan Saladin en Ajjoebiden kwijtraakten, bleven hun moskee en universiteit essentieel voor het religieuze en politieke leven in Egypte. Door wisseling van macht volgt de moskee de soennitische stroming, wat nog steeds het geval is. Tegenwoordig is de sjeik van Al-Azhar de hoogste religieuze autoriteit van het land en de universiteit het eerbiedwaardigste onderwijscentrum in de soennitisch-islamitische wereld. De universiteit is nu gevestigd op diverse moderne campussen door het gehele land en geeft nog steeds gratis onderwijs en inwoning aan moslimstudenten uit de hele wereld en heeft ook een aparte faculteit voor vrouwen.