חוקרים מעריכים כי את שמו של אלבאיסין העניקו לו תושבי העיר באסה, שגלו מעירם לאחר הקרב לאס נאבאס דה טולוסה והתיישבו באזור זה של גרנדה, מחוץ לחומות. עם זאת, יש חוקרים הטוענים כי השם מגיע דווקא מערבית ("אלביזין", אנשי הבזים).
אזור אלבאיסין יושב לראשונה בזמן האיברים. במקום התיישבו במפוזר תושבים של האימפריה הרומית. העדויות להגעתם של המוסלמים לאזור הם רק משלב מאוחר בהרבה, לאחר הגעתם של הזירים (שושלת ברברית) לגרנדה. הסברה הרווחת היא, שאלבאיסין לא היה מיושב בתקופה שמנפילתה של האימפריה הרומית ועד להקמתה של הממלכה הזירית (ב-1013) ובניית החומות באלבאיסין (הנקראות בספרדית Alcazaba Cadima). בשיאה של תקופה זו חיו באלבאיסין כ-10,000 תושבים. רבים מהתושבים חיו בעושר רב, בבתים מפוארים, עם גנים ובריכות, ובמרכז הרובע נבנה בתקופה ההיא אחד המסגדים המרהיבים שהיו בגרנדה, ששרידיו נותרו עד ימינו, בסמוך לכנסיית סלבדור.[1]