Durante l'XI secolo il terreno in cui si trova il complesso appartenne alla famiglia Fujiwara, e probabilmente ospitava una villa estiva. È di questo periodo la realizzazione ad opera di Fujiwara Saneyoshi del lago artificiale che occupa gran parte del giardino e di un primo piccolo tempio, il Daijuin. Nel 1450 Hosokawa Katsumoto entrò in possesso del terreno, vi fece costruire il suo palazzo e patrocinò la fondazione del Ryōan-ji. Il tempio venne distrutto durante la guerra Ōnin, e ricostruito successivamente da Hosokawa Matsumoto, figlio di Katsumoto, a partire dal 1488.[1]

La costruzione del giardino karesansui è stata particolarmente oggetto di dibattito. Secondo alcuni studiosi[senza fonte] esso sarebbe stato creato già al termine della ricostruzione dello hōjō (la residenza dell'abate del tempio) nel 1499. Tuttavia delle fonti raccontano di una visita di Toyotomi Hideyoshi che, insieme ad altri ospiti, avrebbe composto delle poesie per celebrare la bellezza di un albero di ciliegio presente nel giardino[senza fonte]. Non essendovi alcun riferimento alle pietre, alcuni studiosi hanno supposto che non vi fossero ancora, mentre per altri le pietre sarebbero già state presenti, ma l'albero era considerato il centro della composizione. Il ciliegio oggi non esiste più, ma si suppone che sia quello di cui rimane parte del tronco in un rettangolo di muschio nell'angolo Nord-Ovest.[2] Altre fonti situano la costruzione intorno al XV secolo: le prime descrizioni del giardino, datate intorno al 1680, parlano di una composizione di nove rocce, disposte per rappresentare una tigre che aiuta i suoi cuccioli ad attraversare un fiume[senza fonte]. Tuttavia oggi il giardino presenta quindici rocce. Alcune fonti datano la costruzione del giardino nel XVI secolo, altre ancora durante il periodo Edo, tra il 1618 e il 1680.[3] Secondo un'illustrazione del 1780 il giardino originale era diviso in due da un corridoio coperto che lo attraversava da Nord a Sud, con un cancello che si apriva sul lato Sud. L'illustrazione però non rappresenta le pietre, quindi rimane dubbio se vi fossero già oppure no.[4]

Nel 1797 un incendio distrusse nuovamente parte del complesso[senza fonte], che fu successivamente ricostruito. In particolare lo hōjō e il cancello di un sottotempio del complesso, il Saigen'in, furono utilizzati per sostituire quelli andati distrutti. È probabile che il giardino sia stato ricostruito a sua volta in questo periodo, forse fedelmente rispetto l'originale, oppure come frutto di un adattamento alle proporzioni del nuovo hōjō, più piccolo del precedente.[5] Akisato Ritō nel 1799 pubblicò un disegno del giardino nel libro Miyako rinsen meishō zue (Raccolta di disegni dei giardini della capitale), che lo mostra come è oggi: è stato ipotizzato che Akisato stesso abbia modificato la collocazione delle pietre, o comunque abbia partecipato alla sua ricostruzione.[6]

Per quanto riguarda la sua progettazione, molte fonti antiche la attribuiscono a Hosokawa Katsumoto, a suo figlio Hosokawa Matsumoto o al celebre monaco e pittore Sōami (morto nel 1525)[senza fonte]. Tuttavia potrebbe essere stato costruito da progettisti di giardini appartenenti alla classe dei kawaramono: due nomi, Hirokojirō e Kotarō, che si suppone facessero parte di questa classe, sono incisi in una delle pietre. Anche se la classe dei kawaramono era considerata di rango molto inferiore e discriminata, alcuni dei suoi membri riuscirono a diventare consiglieri dello shogunato Ashikaga e intorno al XV secolo divennero famosi per la costruzione di giardini[7]

Il giardino ottenne la sua attuale fama a partire dal XX secolo. Tra i tanti, ad apprezzare il giardino fu anche la regina Elisabetta II, che vi fece visita nel 1975.[8]

L'artista statunitense John Cage ha composto vari pezzi musicali e disegni ispirandosi al giardino.[9]