Es gab an dieser Stelle ganz früher schon einmal einen Tempel, das war der 983 gegründete Enyū-ji, an dem das Gedenken an Kaiser Enyū gepflegt wurde. Insgesamt sieben andere Kaiser sind in der Nähe begraben. Der Bereich, in dem sich heute der Tempel befindet, gehörte während der Heian-Zeit seit dem Verfall des ersten Tempels der Familie Fujiwara, und hier gab es eine von Fujiwara Saneyoshi erbaute Aristokraten-Villa. Hosokawa Katsumoto (1430–1473), ein sehr hoher Staatsbeamter der Muromachi-Zeit (er diente unter dem Shogun Ashikaga Yoshimasa und war eine Schlüsselfigur des Ōnin-Krieges), erwarb das Anwesen im Jahre 1450. Nach seinem Tod wurde die Villa 1473 auf seinen Wunsch in einen Zen-Tempel umgewandelt, und das ist die Geburtsstunde des Ryōan-ji. Diese Vorgeschichte erklärt das Vorhandensein des großen Sees, der früher adeligem Vergnügen mit Bootsfahrten, Gesellschaften im Garten etc. diente.

Als Gründungsabt wurde Giten Genshō gewonnen, der 5. Abt des nahen Tempels Myōshin-ji. Seitdem ist letzterer der Muttertempel des Ryōan-ji. Der Tempel gehört damit zur größten Unterschule des Rinzai-Zen-Buddhismus. Der erste Tempel wurde kurze Zeit später, im Jahre 1467, ein Opfer des Ōnin-Kriegs, der praktisch den ganzen Norden der Stadt in Schutt und Asche legte. Hosokawa Masamoto, der Sohn des Gründers, baute 1488 den Ryōan-ji wieder auf. Vater und Sohn liegen beide auf dem Tempelareal begraben. Die Hosokawa kümmerten sich im späten 16. und 17. Jh. um den Tempel und hielten ihre Schirmherrschaft aufrecht. Unter der Förderung durch diese Familie, insbesondere durch Hosokawa Yusai und Hosokawa Sansai, wurde der Tempel angesehen und kulturell einflussreich. Zu dieser Zeit war er ein ganzer Komplex mit einem Haupttempel und 23 Subtempeln außenherum. Der Ryōan-ji hat in seinen besten Zeiten so ausgesehen wie der Daitoku-ji-Komplex heute noch. Erst in der späten Edo-Zeit setzte der Niedergang ein. Ein verheerender Brand zerstörte 1797 fast alle Gebäude, nur die Halle eines Subtempels überlebte und wurde nun umgesetzt, um als neue Haupthalle des Ryōan-ji zu dienen. Der Wiederaufbau ist um 1800 zu datieren. Genaugenommen ist einzig und alleine der streng angelegte Steingarten das einzige authentische Überbleibsel dieser alten Anlage. Alles andere verschwand seitdem oder wurde neu gebaut. Und die 1797 ausgebauten, geretteten, am neuen Standort wieder eingebauten und 1895 wieder zerstreuten Schiebetüren aus dem besagten Subtempel-Hōjō, von denen einige wenige in den letzten Jahren zurückerworben werden konnten und wiederum andere sich in amerikanischen Museen befinden, gehören ebenfalls noch zu den Überbleibseln des alten Ryōan-ji. Seit 1994 gehört er zusammen mit anderen Stätten zum UNESCO-Weltkulturerbe Historisches Kyōto (Kyōto, Uji und Ōtsu).