Abadai Khan (ook geschreven als Abtai Sain Khan),een van de leiders van de Khalkha-Mongolen, gaf opdracht om het klooster te laten bouwen. De bouw begon in 1585. Hiervoor werden stenen gebruikt van de ruïnestad Karakorum.

Het klooster werd meerdere malen tijdens oorlogen verwoest en weer opnieuw opgebouwd.

In de 19e eeuw leefden meer dan 1.000 monniken in het complex dat intussen 62 tempels binnen haar muren telde.

In 1939 werd het overgrote deel van de Mongoolse kloosters afgebroken in opdracht van de communistische leider Chorloogijn Tsjoibalsan. De monniken werden op grote schaal vervolgd. Ook het Erdene Zuu werd onder handen genomen. Slechts een paar gebouwen, plus de buitenmuur bleven gespaard.

Sinds 1990 is het complex weer in gebruik als klooster.