이쓰쿠시마 신사는 본디 아키 지방에서 으뜸가는 신사로서, 그 하위 신사들을 모두 총괄하는 위치에 있었다.

기록에 의하면 593년에 사에키 구라모토가 스이코 천황의 재위시기에 지었다고 적혀 있지만, 현재 우리가 볼 수 있는 모습은 1168년 경 아키 지방을 통치하던 유력 다이묘였던 다이라노 기요모리가 지었다고 한다. 신사의 또다른 후원자로는 코슈 지방의 지배자였던 모리 모토나리가 있는데, 그는 1571년에 신사의 본전을 다시 지었다. 하지만 그가 이 본전을 다시 지은 이유는, 모리 모토나리가 그의 경쟁자와 전쟁을 벌이면서 이쓰쿠시마 신사가 위치한 섬에서 전투를 벌였다고 하여, 신사의 성스러움을 더럽혔기 때문이었다는 점이라는 것에서 그를 순수한 의미의 후원자라고 하기에는 논란이 있다. 안타깝게도, 가마쿠라 시대에서부터 그대로 남아 전해져 내려오는 신사의 건물은 단 한 채밖에 없다.

12세기, 일본의 다이묘들은 자신의 부와 권력을 과시하기 위해 일부러 더 거대하고 화려한 신사들을 경쟁적으로 지었다. 그 중에는 중국의 송나라와의 해양 무역을 통해 상당한 부를 축적한 다이라 가문도 있었다.

당시 다이라노 기요모리가 이쓰쿠시마 신사가 있는 섬을 점령하였을 때, 다이라 가문은 최전성기를 달리고 있었다. 그는 이쓰쿠시마 신사의 본당을 새롭게 지어 항해의 신에게 기원을 올리고 해상 활동의 중심지로 사용할 것을 명했다. 이쓰쿠시마 신사는 곧 다이라 가문의 직속 신사로 변모했다. 기요모리는 당시 헤이안 시대의 귀족들 사이에서 자신의 권력을 더욱 확고히 하고, 신토의 지원을 받기 위해 이러한 일들을 했다고 추정되고 있다. 그는 이쓰쿠시마 신사 건축에 상당한 자금을 쏟아부었고, 친구와 동료, 심지어는 왕족까지 불러 구경시켜주며 그들에게 이쓰쿠시마 신사를 자랑했다고 한다.

민간 구전에 따르면, 다이라노 기요모리의 꿈 속에 한 노승이 나타나, 만약 그가 미야지마 섬(현재 이쓰쿠시마 신사의 소재지)에 새롭게 신사를 지어준다면, 일본 전역을 지배할 수 있게 해주겠다는 말을 남기고 사라졌다고 한다. 이후 다이라노 기요모리는 이쓰쿠시마 신사를 새롭게 재단장했고, 그 곳에 살던 신령들에게 공물을 바치고 제사를 지냈다는 것이다. 실제로 다이라노 기요모리가 이러한 꿈을 꾸었는지는 확실하지 않으나, 이때 그가 헌납한 막대한 양의 공물로 인해 이쓰쿠시마 신사가 지금과 같은 거대한 규모의 신사로 발전할 수 있게 된 것만은 확실하다.