לפי האגדה המתחם הוקם כמחווה לא-זהרא – פילגשו האהובה של המלך ופסל שלה עמד בכניסה. למעשה העיר נבנתה בעיקר ממניעים אידאולוגים פוליטיים כדי לחזק את מעמדו של הח'ליף אל מול יריביו – הפאטימים של צפון אפריקה והעבאסים בבגדאד. זהרא[א] הוא שמה המקובל של פאטמה בת מוחמד והפאטימים הרבו להקים מבנים ואף ערים על שמה (בשל היות זהראא ידועה כמלומדת נקראת על שמה האוניברסיטה של קהיר – אל-אזהר).

הבנייה הראשונית הייתה זריזה ביותר – היא החלה בשנת 936 או 940, המסגד הוקם ב-941, בשנת 945 הח'ליף כבר עבר לארמון וב-947 הועברה גם המטבעה. הבנייה, שכללה מבנים נוספים, החלפת תוכניות ושיפוצים המשיכה עוד כמה עשרות שנים אחר כך. המתחם הורחב בימי שלטון אל-חכם השני (בנו של עבד א-רחמן השלישי) אך לאחר מותו פסק לשמש כמעון הראשי של הח'ליפים. בשנת 1010 נבזז המתחם במהלך מלחמת אזרחים ואחר כך נזנח ורבים משרידיו שימשו לבנייה במקומות אחרים.

ההריסות הטמונות החלו להיחפר ב-1910 לערך, אך בינתיים נחפרו רק כ-10 אחוז מ-1.11 הקמ"ר של המתחם כולו. החלק המשוקם והנגיש לציבור כולל את האזור המרכזי עם שני מתחמי מגורים של הח'ליף הכוללים מרחצאות, אזורי שירות, משמר ומנהלה, אולם קבלה, גנים ומסגד ציבורי. המתחם כולל גם מוזיאון שנבנה נמוך כדי לא לפגום בנוף האתר.