Arabska nazwa meczetu (Al-Karawijjin) pochodzi od tunezyjskiego miasta Kairuan, czwartego świętego miasta islamu[1].

Według Ibn Abi Zara Fatima al-Fihri, inicjatorka budowy meczetu, wykorzystała majątek po ojcu na budowę meczetu nazwanego na cześć imigrantów z jej miasta. Kiedy ludzie przestali się mieścić w budynku, Fatima kupiła meczet zbudowany około 845 pod nadzorem sułtana Maroka Yahya ibn Muhammada I rozbudowała go dwukrotnie. Sama nadzorowała prace budowlane. Tunezyjski historyk Hassan Hosni Abdelwahab napisał, że wykorzystała jednie zasoby z ziemi, którą kupiła, z niej pozyskiwała wodę, piasek itp.[2] Budowa meczetu trwała 18 lat[3]. Według marokańskiego historyka Abdelhadiego Tazi Fatima Al-Fihri pościła aż do zakończenia budowy meczetu[4].

Arabski historyk i filozof ibn Chaldun napisał, że Fatima zbudowała meczet z przylegającą do niego madrasą. Nie wiadomo, kiedy obiekt stał się uniwersytetem Al-Karouine. Może stało się to za panowania dynastii Almorawidów w XI wieku, może w XIV wieku za dynastii Marynidów. Wówczas Fez stał się stolicą Maroka. Kolejni władcy dofinansowywali działanie meczetu i uczelni. Z czasem w placówce obok teologii i recytacji Koranu zaczęto wykładać prawo, matematykę i astronomię. Prowadzono lekcje muzyki i zajęcia z medycyny. Studiowali tu muzułmanie, Żydzi i chrześcijanie, m.in. Awerroes, Ibn Hazm, holenderski orientalista i matematyk Jacob van Gool, Majmonides oraz Gerbert z Aurillac, późniejszy papież Sylwester II. Rozbudowano bibliotekę uważaną za najstarszą na świecie. Zachował się: pochodzący z IX wieku Koran, rękopis ibn Chalduna z XIV wieku i kopia Ewangelii wg św. Marka z XII wieku. Od 2017 bibliotekę można zwiedzać. Za współczesną renowację biblioteki odpowiadała Aziza Chaouni[1].

Uniwersytet Al-Karawijjin był pierwszą instytucją nadającą współcześnie znane stopnie naukowe[5].