El monestir d'Erdene Zuu va començar a ser erigit per ordre de Abtai Sain Kan el 1585, després de la segona introducció del budisme tibetà a Mongòlia i després d'una trobada el 1580 en la que el Dalai-lama de l'època li va donar instruccions sobre aquest tema, pel que es van usar en part blocs de les ruïnes de Karakorum en la seva construcció.[1][2][3] L'obra es va considerar completa gairebé tres segles després amb l'aixecament d'un mur que envoltava el monestir. Els costats d'aquest mur mesuren 400 m de llarg i conté en total 100 stupes a una distància d'uns 15 m unes de les altres. Probablement es va projectar que tingués fins a un total de 108, nombre sagrat del budisme i nombre de comptes en un rosari budista, encara que mai es va assolir aquesta quantitat.[4][5][6] Els murs dels temples del monestir estaven pintats i les teulades d'estil xinès estaven cobertes de teules verdes. Ja des dels seus primers temps comptava amb una gran quantitat de temples, fins a 1.000 monjos residents i acollia uns 300 gers (mongol: гэр, nom que els mongols donen a les iurtes), doncs els monjos vivien en els situats a l'interior del monestir o al voltant dels seus murs.[7]

Va patir danys durant les invasions manxús en la dècada de 1680 encara que en anys anteriors la pressió xinesa havia portat a un cert abandó com ja li va ocórrer en el passat a l'antiga capital mongola i base del monestir, Karakorum, però es van succeir diversos projectes de reconstrucció: el primer a càrrec de Zanabazar en persona després del seu retorn el 1701 que va servir a més per consagrar de nou els temples, un altre que va començar entorn de l'any 1760 i va acabar el 1796 i un de més, a càrrec de l'arquitecte mongol Manzushir, va començar el 1806 i va acabar el 1814. Des de la finalització d'aquesta reforma, a principis del segle xix, contenia 62 temples complets que combinaven influències xineses i tibetanes i va estar habitat per més de 1000 lames durant el període de major esplendor.[8]

El 1939 el líder comunista Khorloogiin Choibalsan va ordenar la destrucció del monestir com a part d'una purga que va arrasar centenars de monestirs de Mongòlia, va matar a més de deu mil monjos i va enviar a molts d'altres a Sibèria.[9][10][11] Només van quedar cinc temples (entre ells els tres principals en l'actualitat), uns pocs edificis petits i el mur exterior amb els seus stupes; els temples van ser convertits en museus el 1947.[7] Se sol dir que aquesta part del monestir es va salvar de la destrucció per mitjà de les pressions de Ióssif Stalin. Un investigador va assegurar que aquestes pressions estaven relacionades amb la curta visita de la delegació del vicepresident nord-americà Henry A. Wallace a Mongòlia el 1944.[12] Malgrat aquest desastre una quantitat sorprenent d'estàtues, màscares tsam i pintures en pergamí van poder ser salvades en ser enterrades a les muntanyes properes o amagades a les cases dels veïns del lloc.[7] Encara avui dia es produeixen robatoris i a principis dels anys 2000 va ser necessari col·locar alarmes davant la desaparició de diverses estàtues.

Erdene Zuu només va poder continuar existint com a museu, ja que l'únic monestir amb permís oficial per seguir en actiu a Mongòlia era el Monestir de Gandantegchinlen, a Ulan Bator, i encara després de la transformació de les seves funcions no va poder arribar a obrir-se fins al 1965, gairebé vint anys després. Això va canviar amb la caiguda del comunisme a Mongòlia el 1990, quan el monestir va ser retornat als lames i Erdene Zuu va tornar a ser un lloc de culte budista en actiu, a més de ser un museu obert als turistes.