Els antics manuscrits musulmans xinesos declaren que la mesquita va ser construïda per Sa`d ibn Abi Waqqas, oncle de Mahoma, en la seva primera missió musulmana a la Xina a la dècada del 650.[1] Encara que els estudiosos laics moderns no troben cap evidència històrica que Sa`d ibn Abi Waqqas visités realment la Xina,[2] estan d'acord que els primers musulmans van haver d'arribar a la Xina durant el segle VII,[2] i que als centres del comerç com a Canton, Quanzhou, i Yangzhou haurien construït «probablement» les seves primeres mesquites durant la Dinastia Tang, a pesar que no s'han trobat fonts fiables que certifiquin la seva existència real.[1] J. Lipman observa que segons l'anàlisi detallado de Donald Leslie de les inscripcions dels manuscrits xinesos i de l'Àsia Occidental, la data «fiable» més antiga de la construcció de mesquites a la Xina pertany a la Dinastia Song.[3][1]

És segur que la mesquita existia durant la Dinastia Tang, o al començament de la Dinastia Song. L'edifici va ser reconstruït el 1350, i una altra vegada el 1695, després que fos destruït en un incendi. El minaret o far de la mesquita va ser construït en una època anterior.[4]