Название происходит от местности Фусими, названной в честь одноимённой горы и расположенной южнее средневекового Киото. Храм получил большую известность, когда в 1072 году стал местом паломничества императора[1]. Самые старые постройки храмового комплекса датируются 711 годом. Храм был перестроен в 816 году по просьбе монаха Кукая.

Во время войны годов Онин весь комплекс храмов Фусими сгорел. На их восстановление ушло около тридцати лет; новое здание было освящено в 1499 году. В старом храме трём ками были посвящены отдельные здания; в новом храме пять ками почитались в одном здании. Также в новом святилище впервые построили буддийский храм, а в наследственное священство включили клан Када[2].

Святилище упоминается уже в «Энгисики» как тайся. В эпоху Хэйан храм один из первых вошёл в список 22 элитных святилищ, получавшие непосредственную поддержку японского императорского двора[3]. С 1871 по 1946 год святилище было официально причислено к кампэй-тайся (яп. 官幣大社 большие императорские храмы) — высшей категории поддерживаемых государством святилищ[3][4].