È la più antica e una delle più rinomate moschee del paese, fondata nel 742.[1] Tuttavia, la maggior parte dell'attuale Grande Moschea di Xi'an fu costruita durante la dinastia Ming e ulteriormente ampliata durante la dinastia Qinq.

È stata costruita e ristrutturata nelle epoche successive (in particolare durante il regno dell'imperatore Zhu Yuanzhang della dinastia Ming). Rimane un popolare sito turistico di Xi'an ed è ancora oggi usata dai musulmani cinesi (principalmente dal popolo Hui) come luogo di culto. A differenza della maggior parte delle moschee del Medio Oriente e dei paesi arabi, la Grande Moschea di Xi'an nella sua costruzione e nella sua architettura ha seguito uno stile completamente cinese, tranne per alcune lettere arabe e decorazioni, la moschea non ha né cupole né minareti in stile tradizionale.[2]