Damascus was in de 7e eeuw een van de belangrijkste steden van het Midden-Oosten. In de stad woonden voornamelijk christenen. Arabieren veroverden de stad in 635 en introduceerden de islam. Damascus werd later de hoofdstad van het Arabische Rijk.

Ten tijde van de islamitische verovering, was de belangrijkste kerk van Damascus de Basiliek van Johannes de Doper. Gedurende de eerste decennia van het Omajjadische bewind werd deze basiliek (waarschijnlijk) afwisselend door christenen en moslims gebruikt. Deze basiliek was neergezet op de plek waar zich eerder een tempel voor de Romeinse god Jupiter Damascenus bevond en weer dáárvoor een Aramees heiligdom toegewijd aan de heidense god Hadad. De huidige moskee is gebouwd op de temenos van de oude tempel en ook de huidige peribool (omheining) stamt nog uit de Romeinse tijd. De temenos had een oppervlakte van circa 160 x 100m en had een oriëntatie oost-west. De hof had vier poorten, elk aan een van de zijden.

In de basiliek, gebouwd onder Theodosius I tegen het eind van de 4e eeuw, was veel materiaal van de Jupitertempel hergebruikt. Het was een vijfbeukige kerk in de stijl van de vroegchristelijke basilica. De basiliek bevond zich, naar alle waarschijnlijkheid, in het midden van het huidige hof.

In 706, ruim 70 jaar na de islamitische verovering, besloot de toenmalige kalief Al-Walid I de basiliek af te breken en te vervangen door een moskee. Voor de bouw van de moskee werd de basiliek voorzichtig steen voor steen afgebroken. Ondanks de voorzichtige aanpak, stuitte de sloop op weerstand van de christenen in Damascus. Kalief al-Walid begon daarom zelf met een gouden nagel aan de sloop. De peribool, de zuilengang en twee torens bleven staan. De twee torens vormen nu twee van de drie minaretten van de moskee. Vele onderdelen, waaronder 40 Romeinse Korinthische zuilen, werden hergebruikt voor de bouw van de moskee. Volgens de historicus al-Masoudi mochten de christenen in Damascus vier nieuwe kerken bouwen als compensatie.