אוניברסיטת אל-קרוויין נוסדה כמדרסה ב-859 על ידי פאטימה מוחמד אל-פהרי, בתו של סוחר עשיר בשם מוחמד אל-פהרי. משפחת אל-פהרי היגרה מקירואן (ומכאן שמו של המסגד) שבתוניסיה לפאס בתחילת המאה ה-9, והצטרפה לקהילה של מהגרים אחרים מקירואן שהתיישבו במחוז המערבי של העיר. פאטימה ואחותה מרים, שתיהן משכילות, ירשו סכום כסף גדול מאביהן. פאטימה נשבעה להשקיע את כל חלקה מהירושה בבניית מסגד מתאים לקהילה שלה. בנוסף למקום תפילה, המסגד התפתח עד מהרה כמקום ללימודים גבוהים - במרכזם לימודים אסלאמים, קוראן וחדית', אך גם דקדוק, רטוריקה, לוגיקה, רפואה, מתמטיקה ואסטרונומיה.

כמו מוסדות מדרסה אחרים בעולם המוסלמי בימי הביניים, אל-קרוויין הייתה שונה בדרך ניהולה ממודל האוניברסיטה האירופאי שנוסד מעט מאוחר יותר. ההיסטוריון ג'ורג' מקדיסי שערך השוואה בין מוסד המדרסה המוסלמי בימי הביניים לבין מוסד האוניברסיטה המערבי הצביע על מספר הבדלים ביניהם. לדבריו, בעוד שהאוניברסיטה היא ארגון היררכי, ריכוזי ופורמלי, ובעוד האוניברסיטאות הראשונות היו נתונה לפיקוח צמוד מצד המלוכה והכנסייה, המדרסות באותה תקופה היו חופשיות מפיקוח של הח'ליפות. מוסד המדרסה בימי הביניים לא עבד על בסיס תוכנית לימודים פורמלית, אלא על בסיס הנחיה אישית של התלמיד על ידי המרצה שלו.[1] עם זאת, בדומה לאוניברסיטה המדרסה שימשה כמרכז ללימודים גבוהים, ועל פי מקור אחד למדו באל-קרוויין במאה ה-14 למעלה מ-8000 תלמידים.[2] לכן נחשב המוסד על פי ספר השיאים של גינס למוסד האקדמי העתיק ביותר בעולם שפעיל עד היום.[3]

מבחר גדול של כתבי יד נדירים נשמרו בספרייה שנוסדה באל-קרוויין על ידי סולטאן מריני בשנת 1349. בין כתבי היד היקרים ביותר ששוכנים בה כיום מצויים סירת א-נבי של אבן אסחאק, קובץ חדית' מהעתיקים והקדומים ביותר שנכתב על ידי אל-מלכ וכתב היד המקורי של הספר איברי של אבן ח'לדון.

המדרסה המשיכה לפעול גם לאחר ימי הביניים, והמשיכה להיות מרכז רוחני חשוב של המגרב. החל משנת 1963 קיבלה אל-קרוויין מעמד של אוניברסיטה לאומית של מרוקו. מאז המוסד עבר תהליכי מודרניזציה רבים, ובין השאר ניתן לראשונה היתר לנשים להתקבל ללימודים בו.