Dans les années 1220, le site abrite la villa Kitayamadai de Saionji Kintsune (1171-1244, chef du clan Saionji qui fait partie d'une branche des Fujiwara) ainsi que le temple Saionji, inauguré en 1224[1]. Après le déclin des Saionji, la villa et le temple ne sont plus entretenus ; seule une mare demeure de cette époque[2].

Yoshimitsu (1358-1408), le 3e des shoguns Ashikaga, abdique en 1394 pour laisser la place à son fils Yoshimochi. Trois ans plus tard, en 1397, il achète le site au clan Saionji et commence à y construire une nouvelle villa, Kitayamaden, en faisant de son mieux pour en faire un lieu exceptionnel, destiné à accueillir plusieurs reliques bouddhistes. Il y réside jusqu'à sa mort. Ensuite, conformément à ses volontés, son fils Yoshimochi en fait un temple zen de l'école Rinzai qu'il baptise Rokuon-ji[3],[4].

Le temple a été incendié plusieurs fois pendant la guerre d'Ōnin (1467-1477) et seul le Pavillon d'or a survécu. Le jardin a cependant gardé son aspect de l'époque[3].

Le 10 juin 1897, l'État japonais promulgue une loi portant sur la protection des sanctuaires et temples anciens[5]. Le Kinkaku-ji devient la même année l'un des premiers trésors nationaux[6].

Le 2 juillet 1950, le Pavillon d'or a été entièrement incendié par un moine mentalement déficient ; cet événement est au centre du roman de Yukio Mishima : Le Pavillon d'or[7]. Le bâtiment actuel, reconstruit à l'identique, date de 1955[3]. L'inauthenticité de ses matériaux ne le qualifiant plus comme patrimoine national exceptionnel, il a été retiré de la liste des trésors nationaux[6],[8]. Cependant, le parc du temple, classé depuis 1925, est reclassé en 1956 site historique spécial du Japon et lieu spécial de beauté pittoresque[9].

En 1987, il est rénové et reçoit une nouvelle couche, cinq fois plus épaisse, de feuilles d'or[1]. Il semblerait[réf. nécessaire] que la nouvelle couche de feuilles d'or ait été enduite d'un vernis-laque à base d'urushiol (l'huile produite par le sumac vénéneux) pour ainsi préserver la couche d'or contre les intempéries. Cette laque était utilisée autrefois pour protéger différents ustensiles, comme les armes, les œuvres d'art, les objets ménagers et les meubles.

En 1994, le Pavillon d'or est inscrit sur la liste du patrimoine mondial de l'UNESCO, parmi les monuments historiques de l'ancienne Kyoto[10].