Vue à partir du torii à marée basse.

La légende attachée au lieu raconte que les trois divinités du sanctuaire sont nées lorsque la déesse du soleil Amaterasu Ōmikami et son frère Susanoo-no-mikoto, le dieu des tempêtes, ont fait un serment. Depuis l’Antiquité, ils sont révérés comme les divinités assurant le bien-être de la famille impériale, gardant la nation et protégeant les marins[1].

Saeki no Kuramoto, qui gouvernait l'île, fut par un corbeau divin pour faire le tour de l'île avec les divinités et décida de construire un sanctuaire. Selon un document ancien, cela a eu lieu en 593.

En 1168, Taira no Kiyomori, qui adorait le sanctuaire[2], le reconstruisit dans le style shinden-zukuri. Kiyomori occupant un poste des plus élevés à la cour impériale, attira de nombreuses personnalités au sanctuaire, notamment des membres de la famille impériale et des aristocrates, comme l'ancien empereur Go-Shirakawa, qui avait rejoint un ordre bouddhiste en 1174 et l'empereur Takakura prit sa retraite en mars et septembre 1180. Ils apportèrent avec eux la culture de Kyoto[1].

Après le régime Taira, le sanctuaire fut vénéré et patronné par le clan Genji au pouvoir, puis par Ashikaga Takauji et Ashikaga Yoshimitsu et d'autres shoguns de la période Muromachi, et par les clans Ōuchi et Mōri pendant la période des Royaumes combattants[3]. La construction du sanctuaire, consistant en des structures sur pilotis et des pontons, est due au statut sacré de l'île. Les visiteurs n'avaient en effet pas le droit d'y mettre pied à terre ; ils devaient, en arrivant par bateau, passer sous le torii flottant et accoster sur les pontons. Une scène de théâtre nô, également sur pilotis, se trouve à proximité du temple.