המסגד נבנה במקום ששימש במקור כמקדש ארמי לאל הדד-רמן. בתקופה הרומית ניצב במקום מקדש לאל יופיטר, אשר הוקף בחומות ושערים העומדים על מכונם עד היום ומשמשים כקירותיו החיצוניים של המסגד האומיי. בתקופה הביזנטית, נהרס המקדש והוקמה במקומו בזיליקה נוצרית שהוקדשה ליוחנן המטביל. בשנים הראשונות לכיבוש המוסלמי של העיר, המשיכה הכנסייה לשמש כמקום פולחן לנוצרים, אך עם עליית השושלת האומיית ובירתה בדמשק נלקח האתר מחזקתם. המקום שימש לתקופה קצרה לתפילת שתי הקבוצות, אך ב-705 הוחרם המקום והחל הרס הכנסייה כשהח'ליף אל-וליד תקע בסמליות את הטריז הראשון בקירותיה. הבניה הושלמה רק כעבור עשר שנים ב-715.

המסגד נבנה לפי דגם מסגד החצר המבוסס על תבנית ביתו של הנביא מוחמד במדינה. המסגד נועד לשמש מקום לתפילת היחיד והציבור, כמקום לחינוך דתי ולפגישות פוליטיות, מושב משפט וסעד לחולים ולנזקקים.

אל-וליד ביקש וקיבל מהקיסר הביזנטי מאתיים אמנים מיומנים על מנת לבנות את המסגד. המסגד היה אחד המבנים הגדולים בעולם בשעתו ושטחו הוא מלבן שמידותיו 157 על 100 מטרים. המסגד עוטר לאורך קירותיו הפנימיים והחיצוניים בפסיפסי זכוכית על רקע מוזהב המכונים בספרות ״כרמא״. הפסיפסים הוצבו בהשפעת האומנות הביזנטית. בפסיפסים אלו מוצגות תמונות של ביתנים או בתים, עצים וצמחים, נהרות וגשרים. ככל הנראה משקפים הללו את התפישה הקוראנית של גן העדן או את הע'וטה, נווה המדבר הפורה והמלבלב שעוטף את דמשק מכל צדדיה ואשר לפי מסורת אחת, נמנע מוחמד מלבקרו כדי לזכות בחיי העולם הבא.

אולם התפילה כולל שלושה אולמות תפילה רוחביים שתקרתם נתמכת בידי עמודים בעלי כותרות קורינתיות. המבנה הפנימי והפשוט של אולם התפילה נועד להקל על המתפללים לראות את המיחראב והקיבלה - מוקדי התפילה - ואחד את השני ובכך לחזק את תחושת אחדות הקהילה האסלאמית בתפילות יום השישי.

קירותיו של המסגד מבית ומחוץ היו מעוטרים בפסיפס הזהב הגדול בעולם שכיסה כ-4,000 מטרים רבועים. שרפה שפרצה בשנת 1893 כילתה את רובם הגדול של פסיפסים אלו. בשלבים מאוחרים יותר הוספו למסגד כיפות עופרת מעל לכניסה הראשית ומעל למיחראב.

במאה ה-12, לאחר שחרורה של העיר מידיים צלבניות, בחר בה צלאח א-דין כמקום קבורה וקברו,מאוזוליאום צלאח א-דין, ממוקם בסמיכות לחצר המסגד.