Ashikaga Yoshimasa mewariskan jabatan shogun kepada putra pewarisnya, Ashikaga Yoshihisa pada tahun 1473. Setelah itu, Yoshimasa mulai mendirikan istana di tempat bernama Higashiyama, Kyoto. Di tempat tersebut dulunya terdapat kuil sekte Jōdo (Jōdo-ji) yang habis terbakar dalam Perang Ōnin. Sekarang, "Jōdo-ji" tersisa sebagai nama tempat di lokasi bekas kuil.

Setelah berakhirnya Perang Ōnin, Kyoto berada dalam kondisi ekonomi yang sulit. Keshogunan juga sedang kesulitan uang. Akibatnya, Yoshimasa perlu menarik uang pajak sementara dari rakyat, dan mewajibkan rakyat bekerja untuk keshogunan. Semuanya dilakukan Yoshimasa demi pembangunan Istana Higashiyama. Selama pembangunan berlangsung, Yoshimasa menikmati hidup dengan upacara minum teh dan apresiasi seni lukis. Pembangunan istana terus berlangsung selama 8 tahun sebelum Yoshimasa meninggal dunia. Sebelum bangunan seluruhnya selesai, Yoshimasa pindah ke Istana Higashiyama pada tahun 1483. Di dalam Istana Higashiyama yang luas di antaranya terdapat aula rapat dan rumah kediaman shogun. Dibandingkan dengan Kinkaku-ji, Istana Higashiyama tidak begitu luas. Walaupun demikian, Istana Higashiyama memiliki arti penting di bidang politik karena digunakan sebagai gedung pemerintah Keshogunan Muromachi. Sekarang ini, Ginkaku-ji dan Tōgudō adalah dua bangunan yang tersisa dari sejumlah bangunan di dalam kompleks Istana Higashiyama.

Setelah Yoshimasa meninggal dunia pada tahun 1490, Istana Higashiyama dijadikan kuil peristirahatan untuk arwah Yoshimasa. Kuil tersebut diberi nama Jishō-ji, dan merupakan kuil cabang yang berada di luar kompleks Shōkoku-ji.

Pada akhir zaman Sengoku, Jishō-ji menjadi rumah peristirahatan seorang pejabat kampaku bernama Konoe Sakihisa. Sejak itu pula, biksu penjaga kuil Jishō-ji sebagian besar berasal dari keluarga besar Konoe. Setelah Sakihisa meninggal dunia, Jishō-ji menjadi kuil cabang dari Shōkoku-ji.

Pada tanggal 29 Maret 1952, Kementerian Pendidikan Jepang menetapkan taman di dalam kuil Jishō-ji sebagai situs bersejarah dan tempat berpemandangan indah. Pada 17 Desember 1994, Ginkaku-ji (Jishō-ji) sebagai bagian dari bangunan bersejarah di kota lama Kyoto ditetapkan sebagai Situs Warisan Dunia UNESCO.