La torre della Gioia e il ponte dell'Acqua di Giada. I celebri "Muri del Drago".

Il giardino venne creato nel 1599 per volere di Pan Yunduan come conforto per suo padre Pan En, un ufficiale di alto rango della dinastia Ming andato in pensione. Pan Yunduan, dopo aver fallito uno degli esami imperiali, commissionò il progetto al celebre architetto-paesaggista Zhang Nanyang[1]. Ma la sua nomina a governatore del Sichuan rallentò la costruzione che si prolungò per quasi venti anni, fino al 1577. Il giardino era il più grande e prestigioso della sua epoca a Shanghai, ma la sua costosa realizzazione contribuì a rovinare i Pan[2]

Il giardino venne ereditato da Zhang Zhaolin, marito della nipote di Pan Yunduan, e poi passò a proprietari diversi. Una sezione venne organizzata per un breve periodo da Zhang Shengqu come Accademia della purezza e dell'armonia (清和 书院, Qīng-Hé Shūyuàn) e il parco dello Spirito (灵 苑, Líng Yuàn), oggi il giardino dell'Est, venne acquistato da un gruppo di leader locali nel 1709. Tuttavia nel corso del tempo il giardino comincia a degradarsi, fino al 1760, quando fu acquistato da dei mercanti che lo ristrutturarono e aprirono al pubblico il giardino dell'Ovest nel 1780.

Il giardino venne più volte danneggiato nel corso del XIX secolo. Durante la prima Guerra dell'oppio, l'esercito britannico utilizzò la vicina casa da tè come base operativa per diversi giorni nel 1842. Durante la rivolta dei Taiping, la Società delle Piccole Spade ebbe sede nella Sala che Annuncia la Primavera (点春堂, Diǎn Chūn Táng); e quando le truppe di Qing recuperarono il giardino, la gran parte delle strutture originarie erano quasi tutte distrutte. Venne danneggiato nuovamente dai giapponesi nel 1942, poi venne infine restaurato da parte del governo di Shanghai fra il 1956 e il 1961. Venne aperto al pubblico nel 1961 e dichiarato monumento nazionale nel 1982.