Na mestu današnje mošeje so Aramejci že v 2. tisočletju pr. n. št. postavili svetišče Hadadu, bogu dežja in rodovitnosti. Kasneje so Rimljani ta tempelj posvetili Jupitru in ga povečali. Ko je krščanstvo postalo uradna religija Rimskega imperija, najverjetneje v času Teodozija, so Jupitrov tempelj posvetili v cerkev Janeza Krstnika. Leta 636, ko so Arabci osvojili Damask, so spočetka kristjanom še dovolili opravljanje verskih obredov, hkrati so svetišče uporabljali tudi muslimani, ki so ob južni steni postavili proti Meki obrnjen mihrab.

Leta 661, v obdobju dinastije Omajadov, je Damask postal prostolnica velikega islamskega imperija in začeli so se vrstiti pritiski, naj svetišče postane izključno muslimansko. Kalif Kalid ibn al-Valid je od kristjanov odkupil cerkev in leta 708 so pričeli graditi mošejo, ki naj bi simbolizirala Validovo moč. Gradilo jo je več kot 1200 grških stavbenikov iz Konstantinopla, ki so morali prezidati cerkev, pri tem ohraniti obzidje in uporabiti najlepše stebre, ki so jih iz propadlih rimskih mest pripeljali v Damask. Uporabili so najdragocenejši marmor, molilne niše so okrasili z dragimi kamni in celo mošejo s 600 zlatimi svetilkami, ki se niso obdržale dolgo. Ko so po približno desetletju dokončali ta takrat največji spomenik islamu, so bojda potrebovali 18 mul, da so kalifu prinesli vse račune.

Od te prvotne mošeje se do danes ni ohranilo skoraj nič. Skozi stoletja so jo uničevali potresi, požari in ropanja (tolpe pod vodstvom mongolskega kana Timurja) in vsakič so jo obnovili in nekoliko spremenili. Po velikem požaru, ki je leta 1893 uničil velik del molilnih prostorov, so se otomanske oblasti lotile obširne obnove in velik del izvirnega okrasja in lepote je bil za vedno izgubljen.