Il monastero di Erdene Zuu fu eretto nel 1585 da Abtai Sain Khan (Khan dei mongoli Khalkha), dopo l'introduzione e la diffusione in Mongolia del buddismo tibetano. Pietre delle rovine della città di Karakorum furono usate nella sua costruzione. Le mura che lo circondano, caratterizzate dalla presenza di 108 stupa, formano un perimetro quadrato di 402 m di lato. Il numero 108, sacro per il buddismo, è il numero dei grani del rosario buddista (mala). Danneggiato nel 1680, durante operazioni militari, fu ricostruito nel XVIII secolo. Alla fine del 1800 aveva al suo interno 62 templi e centinaia di altre costruzioni.

Nel 1939 il monastero fu devastato in un'operazione di epurazione sovietica, che viene ricordata come gli "anni del terrore"[1], condotta da Stalin e dal leader mongolo Horloogijn Čojbalsan, e che coinvolse centinaia di monasteri in Mongolia e determinò l'uccisione di migliaia di monaci[2][3]. Furono risparmiate poche costruzioni, alcuni templi e le mura. Un ricercatore afferma che furono proprio le pressioni di Stalin in persona su Choibalsan a salvarli dalla distruzione in occasione della visita della delegazione USA in URSS, inviata dal presidente Roosevelt nel 1944, cui partecipava il vicepresidente Henry A. Wallace[4].

Erdene zuu nel 1947 divenne un museo e quindi nel paese rimase un solo monastero funzionante: quello di Gandantegchinlen a Ulan Bator. Dopo la caduta del comunismo in Mongolia, nel 1990, Erdene zuu fu restituito ai monaci buddisti, resta comunque aperto anche come museo.