En l'an 819, le moine Kūkai (appelé Kobo Daishi, « posmortem ») a choisi le mont Kōya comme quartier général du bouddhisme shingon, une des écoles principales du bouddhisme japonais, et qui compte le plus d'adeptes, en dehors de l'Inde et du Tibet. La légende dit que Kūkai n'est jamais mort, mais qu'il a obtenu le Nirvana et reste silencieux, méditant éternellement sur le mont Kōya.

À l'extrémité du cimetière, Kobo Daishi demeure dans son mausolée (Kobo Daishi Gobyo) dans sa méditation, en se concentrant sur la libération de tous les êtres.

Au fil des siècles, de grandes personnalités ont voulu être inhumées dans ce lieu, car placer son urne funéraire sous sa protection, c'est avoir la garantie de renaître un jour au paradis. Ainsi, le cimetière est devenu de plus en plus populaire et, compte tenu d'une certaine limite de concessions, les prix des sépultures ont grimpé en flèche[1].

Quelques tombes sont celles de seigneurs féodaux, comme les shogun Ieyasu Tokugawa ou Hidetada Tokugawa. Beaucoup de personnalités politiques ou de l'industrie ont également leur sépulture dans le cimetière.

Aux alentours, beaucoup de temples se sont ouverts au tourisme et au pèlerinage et fournissent logement dans leurs installations, des shukubo et procurent le shōjin ryōri (repas bouddhistes végétariens).