הר מיסן שגובהו 530 מטר השוכן באי איצוקושימה הוא ההר הגבוה באזור, ובשל כך נחשב המקום לקדוש מימים ימימה. מפאת קדושתו לא העזו תושבי האזור להציב את כף רגלם על האי והם סגדו לו מרחוק. המקדש הוקם לחופיו של האי ובשל קדושת הקרקע הוא ניצב על כלונסאות מעל למימי הים. כך גם הטוריאי המשמש לו ככניסה מכיוון הים ודרכו עברו הבאים אל המקדש בסירות.

סביר כי המקדש הראשון ניצב במקום מאז שנת 593 אך לקיומו ניתן אישוש רק בשנת 811, בראשית תקופת הייאן, כאשר הוא נודע כ"מקדש הקדוש במחוז אקי". עוד ידוע כי כהן השינטו סאקי קגהירו דיווח בשנת 1168 לחצר הקיסרית כי הקים מחדש את המבנה העיקרי של המקדש. נראה כי עבודות הבנייה מומנו על ידי השליט החזק ביותר ביפן במאה ה-12, טאירה נו קיומורי (平 清盛), וזאת כאות תודה על הצלחותיו הצבאיות והפוליטיות, ובשל אמונתו כי אלה באו לו מהאל של איצוקושימה המגן על משפחתו. המבנה עלה באש ב-1207 ונבנה מחדש לאחר שמונה שנים, אך שוב הושמד בשריפה ב-1223. הפעם התמשכה עבודת השיקום עד 1241, והמבנה המרכזי של המנזר הוא מתקופה זו. מאז נחשב המנזר לגדול מידי מכדי שניתן יהיה לשפצו בבת אחת, ולכן נערכו העבודות בכל פעם בחלק אחר שלו. במשך כל תקופת קמקורה ועד תקופת אשיקאגה היה המנזר נתון לחסותה של הממשלה הפאודלית.

בשל מיקומו של המנזר מעל הים ממש, הוא סבל מהצפות חוזרות ונשנות אך הוא שופץ בכל פעם בסיועם של בעלי השפעה וממון. הטוריאי הניצב בלב המפרץ, כ-150 מטר ממבנה המנזר, היה רגיש במיוחד להשפעות הים בשל מיקומו והוא שופץ ושוחזר פעמים רבות, ולאחרונה ב-1875. למתחם נוספו מבנים חדשים במשך השנים ובהם פגודה בת 5 קומות (גוג'ונוטו) ב-1507, פגודה דו קומתית ב-1523, וכן נבנה הונדן (קודש הקודשים של מקדש השינטו) ב-1556 ואחד נוסף ב-1587.

בשל מיקומו של האי במרכזו של הים הפנימי, הוא הפך למרכז כלכלי ומסחרי ולקראת סוף תקופת אשיקאגה במאה ה-16 התפתח במקום יישוב. מקדש בודהיסטי הוקם בסמוך לפסגתו של הר מיסן, דבר שהעצים את זרם המבקרים והעולים לרגל. התפתחויות אלה הביאו לכך שהאי איבד את מעמדו כאי קדוש השמור לפולחן ותו לא.