Ginkaku-ji została zbudowana w 1482 przez sioguna Yoshimasę Ashikagę (1435–1490), wzorującego się na Kinkaku-ji, Złotym Pawilonie, zbudowanym przez jego dziadka. Zamierzał pokryć Ginkaku-ji srebrem, ale w 1467 z powodu wojny ery Ōnin (Ōnin no ran) wstrzymano budowę i tego planu nigdy nie zrealizowano.

Podobnie jak Kinkaku-ji, Ginkaku-ji została zbudowana, aby służyć jako spokojne i odosobnione miejsce wypoczynku dla sioguna. Yoshimasa Ashikaga niewiele interesował się polityką, przedkładając nad nią sztukę i kulturę. Przyczynił się do odrodzenia kultury dworskiej, zwanej „Higashiyama bunka”, którą kultywował w Ginkaku-ji, kontemplując spokój i piękno ogrodów, podczas gdy wojna Ōnin obróciła Kioto w ruinę.

W 1485 Yoshimasa został mnichem buddyjskim zen, a po jego śmierci w 1490 Ginkaku-ji przekształcono w świątynię o nazwie Jishō-ji. Do dzisiaj zachowały się tylko dwa budynki: Srebrny Pawilon i pawilon Tōgu-dō (東求堂) (skarb narodowy) z 1485, w którym znajduje się jedno z najstarszych pomieszczeń (chashitsu) do ceremonii picia herbaty.

Obok świątyni rozciąga się ogród pełen mchu, ze stawami, wysepkami i mostkami, małymi strumieniami i licznymi, różnymi roślinami oraz tradycyjny ogród japoński suchego krajobrazu, zaprojektowany prawdopodobnie przez Sōamiego (1455–1525): Ginshadan („Morze Srebrnego Piasku”), którego częścią jest kopiec piasku o nazwie Kōgetsudai („Platforma do oglądania księżyca”), kojarzony także z górą Fudżi[1][2].