Ashikaga Yoshimasa baute ab 1482 seinen Altersruhesitz auf dem Gelände des im Ōnin-Krieg abgebrannten Jōdo-ji der Tendai-shū, dessen Abt sein Bruder Ashikaga Yoshimi gewesen war. Nach dem Einzug Yoshimasas 1483 verlieh der Kaiser Go-Tsuchimikado der Anlage den Titel Higashiyama-dono (東山殿, „Higashiyama-Palast“). Der Baufortschritt schleppte sich aufgrund mangelnder Gelder und Yoshimasas Perfektionswünschen hin. Zu seinem Tod war der Bau noch unvollendet. Die Anlage wurde darauf, gemäß seinen Wünschen, zu einem Zen-Tempel umgestaltet und Jishō-ji genannt. Während der Unruhen der Sengoku-Zeit brannten viele der Gebäude auf dem Gelände ab.

Yoshimasa baute seinen Alterssitz als Rückzugsort von seinem politischen Leben als Shōgun. Es waren bis zu zehn Gebäude geplant, sie wurden jedoch nicht vollendet. Keines war für offizielle Tätigkeiten vorgesehen. Er gestaltete die Gebäude und den Garten nach seinen Interessen. Ursprünglich gestaltete Kanō Masanobu die Fusuma der Gebäude. Yoshimasa schuf durch seine künstlerischen Vorstellungen und die von ihm geförderten Künstler die prägende Higashiyama-Kultur. Sein Alterssitz entwickelte sich zum Zentrum der Higashiyama-Kultur und ist gleichzeitig ihr Inbegriff.

Der Name Ginkaku-ji („Silberner Pavillon“) ist in Anlehnung an den von Yoshimasas Großvater, Ashikaga Yoshimitsu, erbauten Rokuon-ji (鹿苑寺), populär Kinkaku-ji („Goldener Pavillon“), geprägt. Beide Tempel sind Untertempel des Shōkoku-ji der Rinzai-shū.

1952 wurde die Gartenanlage zur Besonderen historischen Stätte (tokubetsu shiseki) erklärt. Die UNESCO nahm 1994 den Ginkaku-ji zusammen mit anderen Stätten in das Weltkulturerbe Historisches Kyōto (Kyōto, Uji und Ōtsu) auf.