I vecchi manoscritti islamici cinesi affermano che la moschea fu costruita nel 627 d.C. da Sa'd ibn Abi Waqqas, che era lo zio di Maometto e affermano che sarebbe venuto nella sua prima missione islamica in Cina nel 620.[1] Sebbene i moderni studiosi laici non abbiano trovano alcuna prova storica che Sa'd ibn Abi Waqqas abbia realmente visitato la Cina[1], sono d'accordo che i primi musulmani devono essere arrivati in Cina nel VII secolo, e che i grandi centri commerciali come Canton, Quanzhou e Yangzhou probabilmente videro la costruzione delle loro prime moschee già durante il dominio della dinastia Tang, anche finora non sono state trovate fonti affidabili, attestanti la loro effettiva esistenza.

È certo che la moschea esisteva durante la dinastia Tang, o nei primi anni della dinastia Song. La moschea fu ricostruita nel 1350 e poi di nuovo nel 1695, dopo la distruzione a causa di un incendio. Il faro di Huaisheng o minareto fu costruito in un periodo precedente.