로쿠온지는 본디 사이온지 긴쓰네의 별장으로 키타야마다이(北山第)라는 이름으로 불렸다.[1] 이후 1397년 쇼군인 아시카가 요시미쓰가 은퇴 후 별장으로 사용하기 위해 현재의 정자를 짓고 관련 시설들을 만들었다. 이후 아시카가 요시미쓰가 죽자, 그의 아들은 아버지의 유언에 따라 이 건물을 린자이 학파의 선불교 사찰로 그 용도를 바꾸었다. 이후 오닌의 난이 일어났을 때, 사찰과 함께 정자와 모든 건물들이 전소되어 버렸고, 이후 복원되었다.

로쿠온지는 1950년 7월 2일, 새벽 2시 30분에 정신질환을 앓고 있던 22살의 젊은 승려 하야시 요켄에 의해 화재에 휩싸였다. 이후 그는 사원 뒤쪽에서 자살을 시도하였으나, 죽지 못했고 사람들에 의해 체포되어 곧바로 수감되었다. 하야시 요켄은 약 7년 동안의 징역을 선고받았으나, 그가 정신병을 앓고 있었다는 이유로 1955년 5월 가석방되었다. 이 화재로 인해 아시카가 요시미쓰의 상이 손실되었으나, 현재 복원되어 다시 안치되어 있다. 이 방화 사건을 모티브로 하여, 1956년 미시마 유키오가 소설 <킨카쿠지>를 발표하였다.

 1885년에 찍힌 사진. 금박은 세월의 흐름 때문에 벗겨져있다.

현재 우리가 볼 수 있는 정자는 1955년에 다시 재건한 것이다. 정자는 총 3층 높이로, 그 높이는 12.5m이다. 일본에서는 로쿠온지를 과거의 모습과 최대한 비슷하게 복원하였다고 주장하지만, 과연 옛날에도 지금처럼 정자에 엄청난 양의 금박이 덮여있었을지에 대한 의문이 존재한다. 1984년, 정자에 칠해져 있던 옻칠의 일부가 썩은 것으로 판명되어 이에 전보다도 훨씬 더 두꺼운 옻칠을 하여 보강하였다. 또한, 이 때 아시카가 요시미쓰의 상도 복원하여 다시 안치하였고 안에 걸려있던 그림도 다시 걸었다. 2003년에는 지붕이 완전히 복구되었다. '킨카쿠지'라는 이름에서 '킨카쿠'는 정자 전체를 두텁게 덮고 있는 황금에서 그 이름을 따왔다. 금은 죽음에 대한 두려움이나 부정적인 생각, 감정들을 없애준다고 믿어졌으며, 사원의 전체적인 분위기를 환기하기 위해 사원에 칠해졌기 때문에 그 의미가 크다고 할 수 있을 것이다. 이러한 상징적 의미 외에도, 로쿠온지는 무로마치 시대의 건축을 잘 보여주기도 한다. 무로마치 시대의 건물들은 대개 장식적이거나 화려한 분위기를 추구하였다. 햇빛이 로쿠온지에 반사되어 찬란히 빛나는 것, 고요한 연못에 정자의 모습이 투영되어 비치는 것과 같은 극적인 장치들을 통해, 로쿠온지는 시각적으로 아름다운 분위기를 느낄 수 있게 한다.