Ensimmäinen palatsi alueelle rakennettiin Jin-dynastian alkuaikoina. Qing-dynastian aikana vuonna 1750 palatsi uudelleenrakennettiin ja uudelleennimettiin. Britannian ja Ranskan joukot tuhosivat sen toisen oopiumisodan päätteeksi 1860, mutta leskikeisarinna Cixi rakennutti sen jälleen 1888 30 miljoonan hopeataalerin hinnalla. Rahat oli tarkoitettu Kiinan laivaston uusimiseen, ja niiden käyttö palatsin rakentamiseen onkin selkeä esimerkki Qing-dynastian loppuaikojen korruptiosta. Uudelleenrakentaminen kesti noin vuoden, minkä päätteeksi Cixi antoi palatsille sen nykyisen nimen: Rauhan ja harmonian puutarha.

Boksarikapinan yhteydessä 1900 ulkomaalaiset hävittivät Kesäpalatsin jälleen, tuhoten lähes kaikki suuret temppelit ja hallit. Keisarinna Cixi aloitutti taas uudelleenrakennuksen palattuaan Pekingiin 1903.

Viimeinen Qing-dynastian keisari Puyi karkotettiin Kesäpalatsista 1924 ja palatsista tehtiin puisto, josta muodostui hyvin suosittu kesäinen retkikohde Pekingin asukkaille ja siellä käyville matkailijoille.

Kesäpalatsi valittiin UNESCOn maailmanperintöluetteloon vuonna 1998.[1]