A finales del periodo Nara, dos monjes gemelos, Zenchu y Zensan, construyeron una choza en la montaña donde comenzaron a realizar sus prácticas religiosas. El año, 727, es considerado la fecha de fundación del templo. En el 775, 600 pergaminos del Gran Hannya Sutra fueron enterrados allí y el templo (originalmente llamado Miroku-ji) se erigió sobre ellos.[1]​

En el año 780, una sacerdotisa budista llamada Myokan, considerada una encarnación de Kannon —la diosa de la misericordia—, agrupó a dieciocho niños, y desde el 18 de julio al 18 de agosto talló junto con ellos una estatua de 2.8 m de altura de once caras y mil manos como representación de Kannon. Esta se convirtió en la principal divinidad del templo, así como el origen de la tradición japonesa de consagrar el día 18 de cada mes a Kannon.[1]​

Años después de la fundación del templo, varias partes resultaron quemadas o destruidas a causa de diversas guerras. Por ello, en 1188, Minamoto Yoritomo ordenó su rehabilitación. EL chinjudō, jogyodō y otras salas y pagodas fueron eventualmente construidas.[1]​