האדמה שעליה יושב המקדש הייתה ב-1220 וילה של סיונאג'י קינצונה (Saionji Kintsune), והמקדש נבנה במקור ב-1397 כדי לשמש וילה לפרישת השוגון אשיקגה יושימיצו (Ashikaga Yoshimitsu), והיה כחלק מרכושו שנודע בתור קיטאימה. בנו הוא זה אשר המיר את המבנה למקדש זן של כת הרינזאי. המקדש נשרף מספר פעמים במהלך מלחמת אונין (Ōnin War).

המקדש המוזהב הוא בניין בעל שלוש קומות, שתי הקומות העליונות מכוסות בזהב טהור. הביתן משמש גם בתור מקום אחסון לשרידים ולמזכרות של הבודהה. על גג המקדש עומד הפיניקס הסיני (פנגאהואנג). הנכד של יושימיצו לקח את ה"מקדש המוזהב" בתור השראה ל"מקדש הכסוף" (Ginkaku-ji), שהוא גם מקדש בודהיסטי, אשר הוא תכנן לכסות בכסף.

למקדש המוזהב יש גן יפני שצמוד אליו והאגם שבקדמתו נקרא אגם המראה (Kyōko-chi). בתוך האגם יש הרבה איים ואבנים אשר מספרים את סיפור הבריאה הבודהיסטי.

ב-1950 המקדש נשרף על ידי נזיר שלקה בנפשו, גרסה פיקטיבית של האירועים נמצאת במרכז ספרו של הסופר יוקיאו מישימה מ-1956 "The Temple of the Golden Pavilion". ב-1984 נתגלה שציפוי הלכה רקוב ומתקלף ולכן הוחלף בחדש, שנראה בדיוק כמו הישן, אך יותר עבה ממנו. הציפוי הושלם ב-1987. בנוסף לחידוש הציפוי, פנים המקדש והציורים שוחזרו. ב-2003 סיימו את העבודות בשיפוץ גג המבנה.