Vůdce chalchských Mongolů Abtaj po setkání s 3. dalajlámou prohlásil tibetský buddhismus za náboženství svého státu a první klášter založil Erdenedzú v roce 1585.[1] Stavební kámen byl použit z ruin zaniklého města Karakorum.[2] Při stavbě se zřejmě plánovala postavit obvodové zdi odkazující k buddhistickému růženci se sto osmi stúpami, nicméně tento plán nejspíše nikdy nebyl dokončen.[3][4] Klášterní zdi byly malovány a střechy v čínském stylu byly pokryty zelenými taškami.

Klášterní komplex byl poškozen v roce 1688 při bojích mezi Džúngary a Chalchy. Poté místní poškodili dřevěné opevnění, které si rozebrali.[5] V následujícím století byl klášterní komplex rekonstruován, v roce 1872 obsahoval šedesát dva chrámů a při plném osazení mohl pojmout až 1000 mnichů.

Rána pro klášter přišla v roce 1939, kdy komunistický vůdce Chorlogín Čojbalsan v rámci čistky nařídil ničení buddhistických chrámů, což se dotklo i Erdenedzú, který na rozdíl od dalších nebyl srovnán se zemí celý. V roce 1944 na nátlak Stalina došlo k zastavení demolice, aby bylo možné demonstrovat svobodu náboženství v komunistickém Mongolsku pro zahraniční návštěvy. Díky tomu byl uchráněn zbytek kláštera (dále například klášter Gandan v Ulánbátaru). V roce 1947 byly zbytky kláštera přeměněny na muzeum. K obnovování dochází od pádu komunismu v 90. letech.