由费利斯·比特於1860年拍攝的光塔 寺院内的礼拜殿 民國時期的大門及光塔，關野貞攝。

唐高祖武德年间（618年－626年），伊斯兰教“封印先知”穆罕默德派门徒4人来华传教，其中的赛义德·本·阿比·瓦卡斯（古译阿布·宛葛素）于唐贞观初年经海上丝绸之路在广州登陆，开始在中国传教。贞观元年（627年），阿布·宛葛素和侨居广州的阿拉伯穆斯林捐资修建了这座清真寺，为纪念“穆圣”，故取名“怀圣”。怀圣寺于元至正三年（1343年）被焚，7年后重建。现存建筑为清康熙三十四年（1695年）重建后的规制。1949年后，怀圣寺进行过三次较大规模的修葺，基本保持了原有建筑风络。