Mesto templja je bilo posestvo klana Fudžvara v 11. stoletju. Prvi tempelj, Daidžu-in, in še vedno obstoječi veliki ribnik je v tistem stoletju zgradil Fudživara Sanejoši. Leta 1450 je Hosokava Kacumoto, še en močan vojskovodja, pridobil zemljišče, kjer je stal tempelj. Tam je zgradil svojo rezidenco in ustanovil zenovski tempelj Rjoan-dži. Med vojno Ōnin med klani je bil tempelj uničen. Hosokava Kacumoto je umrl leta 1473, leta 1488 pa je njegov sin Hosokava Masamoto obnovil tempelj.

Tempelj je služil kot mavzolej več cesarjev. Njihove grobnice so združene v tisto, kar je danes znano kot »sedem cesarskih grobnic« v Rjoan-dži. Pokopališča teh cesarjev – Uda, Kazan, Ičidžō, Go-Suzaku, Go-Reizei, Go-Sandžō in Horikava – so bila razmeroma skromna v obdobju po njihovi smrti. Te grobnice so dosegle svoje sedanje stanje kot rezultat obnove cesarskih grobov (misasagi) v 19. stoletju, ki jo je naročil cesar Meidži.[1]

Obstajajo polemike o tem, kdo in kdaj je zgradil vrt. Večina virov ga datira v drugo polovico 15. stoletja.[2] Po nekaterih virih ga je zgradil Hosokava Kacumoto, ustvarjalec prvega templja Rjoan-dži, med letoma 1450 in 1473. Drugi viri pravijo, da ga je zgradil njegov sin, Hosokava Masamoto, leta 1488 ali okoli tega.[3] Nekateri pravijo, da je vrt zgradil slavni krajinski slikar in menih Sōami (umrl 1525),[4] vendar drugi avtorji temu oporekajo.[5] Nekateri viri pravijo, da je bil vrt zgrajen v prvi polovici 16. stoletja,[6] drugi pa kasneje, v obdobju Edo, med letoma 1618 in 1680. Obstaja tudi polemika o tem ali so vrt zgradili menihi ali profesionalni vrtnarji, imenovani kavaramono ali kombinacija obeh. V en kamen na vrtu je vklesano ime dveh kavaramonov, Hirokodžirō in Kotarō.

Dokončna zgodovina, ki temelji na dokumentarnih virih, pa je naslednja: Hosokava Kacumoto (1430–1473), namestnik šoguna, je leta 1450 ustanovil tempelj Rjoan-dži, vendar je bil kompleks med vojno Ōnin požgan. Njegov sin Masamoto je obnovil tempelj čisto na koncu istega stoletja. Ni jasno, ali je bil v tistem času zgrajen kak vrt proti glavni dvorani. Prvi opisi vrta, ki jasno opisujejo vrt pred glavno dvorano, so iz leta 1680–1682. Opisan je kot sestava devetih velikih kamnov, postavljenih tako, da predstavljajo tigrčke, ki prečkajo vodo. Ker ima vrt trenutno petnajst kamnov, se je jasno razlikoval od vrta, ki ga vidimo danes. Velik požar je leta 1779 uničil poslopja, ruševine pogorelih poslopij pa so odlagali na vrt. Pisec in specialist za vrtove Akisato Rito (umrl okoli 1830) je ob koncu 18. stoletja popolnoma preuredil vrt na ruševinah in objavil sliko svojega vrta v svoji Slavni vrtovi in znamenitosti Kjota (Mijako rinsen meišo zue) z dne 1799, ki prikazuje vrt, kot je videti danes. En velik kamen zadaj je bil delno zasut; ima vklesani dve prvi imeni, verjetno imeni nedotakljivih kamnosekov, tako imenovanih kavaramono.[7] Ni dokazov, da so zenovski menihi delali na vrtu, razen grabljenja peska.