Początki rezydencji sięgają czasów dynastii Jin (1115-1234), kiedy to w 1153 roku cesarz Hailingwang wybudował swój letni pałac na górze Jinshan, około 10 kilometrów od dzisiejszego Pekinu. W czasach dynastii Yuan powiększono znajdujące się nieopodal pałacu jezioro (dzisiejsze jezioro Kunming) i połączono je kanałem z Pekinem.

Właściwe dzieje Yiheyuanu zaczynają się w 1750 roku, kiedy to dla uczczenia 70 rocznicy urodzin swojej matki cesarz Qianlong rozkazał utworzyć w tym miejscu rezydencję o nazwie Ogród Czystych Fal (Qingyiyuan). Pogłębiono i poszerzono wówczas jezioro, nadając mu nazwę Kunming. Ziemia wybrana do wykopania jeziora posłużyła do usypania Wzgórza Długowieczności. W następnych latach przeprowadzono rozbudowę założeń parkowych i budowli, jednak miejsce to nie stanowiło miejsca letniego wypoczynku cesarzy, preferujących Yuanmingyuan i rezydencję w Chengde. Qingyiyuan doznał poważnych zniszczeń podczas interwencji wojsk angielsko-francuskich w trakcie II wojny opiumowej w 1860 roku.

W 1885 cesarzowa Cixi, z uwagi na brak funduszy pozwalających na ewentualną odbudowę doszczętnie zniszczonego Yuanmingyuan, nakazała wybudować nową letnią rezydencję cesarską na gruzach Qingyiyuan. Budowa, zakończona w 1889 roku, sfinansowana była z funduszy mających służyć pierwotnie budowie floty oraz z handlu urzędami. Cała inwestycja pochłonęła 100 milionów taeli i zrujnowała chiński skarb. Od 1898 roku więziony był tu cesarz Guangxu.

Podczas interwencji wojsk cudzoziemskich podczas powstania bokserów w 1900 roku pałac został poważnie uszkodzony. Zdemolowano wiele pomieszczeń, zniszczono znajdujące się w nich wyposażenie, a ściany pokryto wulgarnymi napisami. Odrestaurowany, po śmierci Cixi w 1908 został z rozkazu cesarzowej-wdowy Longyu opuszczony. Przez następnie kilkadziesiąt lat pałac był systematycznie rozkradany i niszczony. Największych zniszczeń doznał z rąk klik militarystycznych, dowódców Kuomintangu i żołnierzy japońskich.

W latach 50. XX wieku kompleks został odrestaurowany i udostępniony zwiedzającym.

W grudniu 1998 UNESCO włączył Yiheyuan na Listę Światowego Dziedzictwa Kulturowego i Przyrodniczego Ludzkości.