전설에 의하면 닌토쿠 천황의 재위 시기(313 - 399)에 인도에서 건너온 승려 라교 소닌이 수행하고 도를 닦을 장소를 찾다가 우연히 나치 폭포에 이르렀다고 한다. 이 때 관음보살이 소닌의 앞에 현신했다고 전해지며, 이후 소닌은 이 곳에 사찰을 지어 관음보살에게 바쳤다고 한다.

스이코 천황의 통치 기간 동안, 쇼부쓰 소닌이라는 이름의 승려가 야마토에서 이 곳으로 건너와 폭포 아래에서 참선했다고 전해진다. 이 때 쇼부쓰 소닌이 거대한 동백나무에 4m 높이의 거대한 관음보살을 그렸다고 한다. 이후 이 관음보살 그림을 모시기 위하여 세이간토지의 본당이 건립되었고, 이후 이 곳은 관음보살 숭배의 중심지로 급부상했다.

998년, 가잔 천황이 순례 기간 동안 이 곳을 찾아 우연히 관음보살화를 보았고, 깊이 감동받았다고 한다. 그는 이 곳을 관음 숭배의 제 1 성지로 지정했다. 그는 이 곳에서 약 1,000일 동안 폭포 아래에서 참선했다고 하며, 이 때 관음보살의 현신을 만나 깨달음을 얻었다고 한다. 관음보살은 천황에게 하세데라지(관음보살 순례길의 8번째 절)의 주지를 찾아가라고 일렀고, 이후 천황이 직접 관음 보살 순례길을 직접 짜 널리 반포했다.

가잔 천황은 이 사찰에 있는 동안 수많은 시를 써 남겼고, 이는 지금까지도 내려와 성스럽게 여겨지고 있다. 가잔 천황 이후, 이 곳을 방문하는 다른 천황들도 각자 1개씩 시를 남기는 것이 관례로 굳어졌다.

고토바 천황은 이 곳으로 31번 순례를 왔고, 그의 후임자인 고시라카와 천황은 34번 순례를 왔다. 이 때문에 이 곳은 일본에서도 이름난 성지로 떠오르게 되었다. 다만 이 곳은 천황들이 방문하기 약 400년 전부터 이미 대부분의 조정 고관들이 불법의 '포탈라', 즉 관음보살의 극락세계라고 여기며 자주 방문하여 참배하곤 했다.

세이간토지의 건물들은 16세기에 다른 많은 사찰들이 그랬듯이 오다 노부나가에 의하여 대부분이 불타 무너졌다. 다만 사찰의 본전은 1587년에 도요토미 히데요시에 의해 복구되었고, 이때 모모야마 시대의 전형적인 건축 양식이 이 사찰의 양식 속에 뿌리깊게 스며들었다. 메이지 시대 때에 천황이 다시 권력의 중심으로 떠오를 적에, 몇 천년 동안 한 몸으로 여겨졌던 신토와 불교(신불습합)을 분리하려는 시도가 일어났다. 이 때문에 대표적인 신불습합 사원이었던 세이간토지는 공식적으로 폐지되었으며, 승려들은 길바닥에 나앉았으며 그 어떠한 시주도 들어오지 않았다. 당시 세이간토지에는 3개의 본 사찰과 37전의 훈련소, 거주 건물들이 있었으나 메이지 시대 이후에는 본전과 수도자들의 거처 몇 개밖에 살아남지 못했다. 다만 이후 점차 불교가 다시 융성해지기 시작하며 사찰도 복원 작업에 들어갔고, 몇 십여 개의 건물들이 다시 복구되어 현재에 이르고 있다.