Die Moschee wurde 859 von Fatima al-Fihri,Tochter des reichen Kaufmanns Mohammed Al-Fihri, gegründet. Sie hatte geschworen, ihr gesamtes Erbe für den Bau einer Moschee für ihre Gemeinde, die im frühen 9. Jahrhundert aus Kairouan eingewandert waren, zu verwenden. Der Name der Hochschule bedeutet sinngemäß „Universität der Menschen aus Kairouan“.

Die Koranschule kam unter die Patronage der mächtigen Sultane. Sie sammelte eine große Auswahl an Manuskripten, die in einer Bibliothek aufbewahrt wurden, die der Meriniden-Sultan Abū ʿInān Fāris 1349 gestiftet hatte. Zu den wertvollsten Manuskripten zählen einige Bände des berühmten Muwaṭṭʾa von Mālik ibn Anas, im Jahre 1108 auf Pergament geschrieben, eine unvollständige Abschrift der Prophetenbiographie von Ibn Isḥāq, mehrere Kopien des Korans, die Sultan Aḥmad al-Manṣūr adh-Dhāhabī 1602 der Universität stiftete, und ein Autograph von Ibn Chaldūns islamischer Weltgeschichte Al-ʿIbar, mit seiner eigenhändigen Widmung zugunsten der Bibliothek.

Die Moschee entwickelte sich bald zu einem Ort für religiöse Unterweisung und politische Diskussion, die langsam das Feld ihrer Fächer ausweitete, speziell auf die Naturwissenschaften. 1957 führte König Mohammed V. die Fächer Mathematik, Physik, Chemie und Fremdsprachen ein. Heute werden neben dem Koran und Fiqh (islamische Rechtsprechung) Grammatik, Rhetorik, Logik, Medizin, Mathematik, Astronomie, Chemie, Geschichte, Geografie und Musik gelehrt.