Durante il regno dell'imperatore Nintoku (313-399), secondo la leggenda del tempio, Ragyō Shōnin, un monaco indiano, giunse qui seguendo il fiume alla ricerca di un luogo adatto in cui praticare le sue austerità e trovò la cascata di Nachi. Dopo aver praticato lo shugyō, gli apparve Kannon alla base della cascata e così costruì un eremo a lei dedicato.

Durante il regno dell'imperatrice Suiko (592-628), Shōbutsu Shōnin venne qui da Yamato per sottoporsi a pratiche di austerità. A quel tempo scolpì un'immagine, alta 4 metri, di Nyoirin Kannon da un unico pezzo di albero di camelia. L'Hondō (tempio principale) fu costruito per custodire questa immagine che divenne il fulcro del culto di Nachi Kannon ed è l'immagine che è custodita nell'attuale Nyorindō.

Nel 988 l'imperatore Kazan (花山天皇) (968-1008) visitò l'area di Kumano nel suo primo pellegrinaggio e, profondamente commosso dall'immagine di Kannon, dichiarò questo tempio come uno dei pellegrinaggi di Saigoku Kannon. Si dice che l'imperatore Kazan completò 1000 giorni di severo addestramento spirituale sotto la cascata, dopodiché ebbe una visione di Kannon sotto forma del kami Kumano Gongen. Questi lo incaricò di trovare il sacerdote Butsugan di Hasedera (Tempio 8 del pellegrinaggio), che aiutò l'imperatore a riprogrammare l'attuale percorso del pellegrinaggio.

L'imperatore Kazan scrisse tutte le poesie goeika che sono ancora usate durante il pellegrinaggio come inni sacri. Negli anni successivi divenne consuetudine per altri imperatori, che si recarono in questo pellegrinaggio, di comporre poesie proprie per ciascuno dei luoghi sacri.

Poiché l'imperatore Go-Toba (1180-1239; regno 1183-1198) fece il pellegrinaggio a Kumano 31 volte e il suo successore, Go-Shirakawa (1127-1192; regnò dal 1155 al 1158) lo fece 34 volte, il pellegrinaggio divenne popolare durante quest'epoca. Tuttavia, i membri della corte erano già venuti qui per circa 400 anni prima, credendo che fosse vicino all'isola paradisiaca di Kannon situata nel sud del Giappone chiamata Fudaraku (Potala in sanscrito).

Gli edifici del tempio, come molti dei templi del percorso del pellegrinaggio, furono rasi al suolo da Oda Nobunaga durante le guerre civili del XVI secolo. Il Nyorindō (tempio principale) fu ricostruito nel 1587 da Toyotomi Hideyoshi, il reggente imperiale che unificò il Giappone dopo le guerre. È tipico dello stile architettonico dell'era Momoyama con un caratteristico tetto a scandole chiamato irimoya. Il Nyorindō è patrimonio elencato come un bene culturale importante a livello nazionale.

Quando il governo ripristinò il potere dell'imperatore durante l'era Meiji (1868 - 1912), fu fatto un tentativo di separare i templi buddisti e i santuari shintoisti che per oltre mille anni avevano condiviso gli stessi terreni. Per questo motivo, Seigantoji venne formalmente abolito, i sacerdoti furono privati della loro autorità e nessun finanziamento fu più assegnato al tempio. A quel tempo Seigantoji aveva tre templi principali e 37 edifici residenziali e di addestramento. Ma tutto ciò che rimase dopo la Restaurazione Meiji furono il Nyorindo e gli alloggi dell'abate. Tuttavia, gradualmente, nel secolo successivo, fu lentamente ricostruito per via della sua posizione come parte importante della religione sincretica di venerazione della montagna Kumano-Nachi di Shugendō.

Nel 1918 fu scavato un tumulo di Sutra alla base della cascata e si scoprì che conteneva molti importanti reperti archeologici, tra cui statue, specchi, accessori d'altare e cilindri di Sutra. Questi sono ora esposti nella Ryuhoden ("Sala del tesoro"), situata vicino alla Pagoda. Questi tumuli di Sutra furono creati dai sacerdoti in tempo di guerra per nascondere i loro tesori, ma anche per la convinzione che sarebbe arrivata la fine del mondo all'inizio del X secolo.[1]