Ashikaga Yoshimasa avviò i piani per la creazione di una villa di ritiro e dei giardini già nel 1460;[1] e dopo la sua morte, Yoshimasa avrebbe fatto in modo che questa proprietà diventasse un tempio Zen.[2] Il tempio è oggi associato al ramo Shokoku-ji dello Zen Rinzai.

Il Kannon-den (観音殿? Sala Kannon) a due piani, è la struttura principale del tempio. La sua costruzione iniziò il 21 febbraio 1482 (Bummei 14 , 4º giorno del 2º mese).[3] Il progetto della struttura ha cercato di emulare il Kinkaku-ji dorato che era stato commissionato da suo nonno Ashikaga Yoshimitsu. È conosciuto popolarmente come Ginkaku, il "Padiglione d'argento" a causa dei piani iniziali di coprire la sua facciata in lamina d'argento; ma questo soprannome familiare risale solo al periodo Edo (1600-1868).[4]

Durante la guerra Ōnin, la costruzione fu interrotta. Nonostante l'intenzione di Yoshimasa di coprire la struttura con una particolare copertura in lamina d'argento, questo lavoro fu rimandato per così tanto tempo che i piani non furono mai realizzati prima della morte di Yoshimasa. L'aspetto attuale della struttura è lo stesso di quando lo vide lo stesso Yoshimasa. Questo aspetto "incompiuto" illustra uno degli aspetti della qualità "wabi-sabi".[2]

Come per il Kinkaku-ji, il Ginkaku-ji fu originariamente costruito per servire da luogo di riposo e solitudine per lo Shōgun. Durante il suo regno come Shōgun, Ashikaga Yoshimasa ispirò una nuova effusione di cultura tradizionale, che divenne nota come Higashiyama Bunka (la cultura della Montagna Orientale). Dopo essersi ritirato nella villa, si dice che Yoshimasa si sedette nel padiglione, contemplando la calma e la bellezza dei giardini quando la guerra di Ōnin peggiorò e Kyoto fu distrutta dal fuoco.

Nel 1485, Yoshimasa divenne un monaco buddista Zen. Dopo la sua morte, il 27 gennaio 1490 (Entoku 2, 7º giorno del 1º mese),[5] la villa e i giardini divennero il complesso di un tempio buddista, ribattezzato Jishō-ji dopo il nome buddista di Yoshimasa.

Dopo un lungo restauro, iniziato a febbraio 2008, il Ginkaku-ji è di nuovo in piena gloria. Il complesso di giardini e templi sono aperti al pubblico. Non c'è ancora nessuna lamina d'argento usata. Dopo molte discussioni, è stato deciso di non rifinire la lacca allo stato originale. La finitura laccata era la fonte dell'aspetto originale in argento del tempio, con il riflesso dell'acqua d'argento dello stagno sulla finitura.