일본의 쇼군이었던 아시카가 요시마사는 1460년 무렵에 은퇴 후에 살 저택과 정원, 즉 지쇼지를 처음 만들었다. 그리고 자신이 죽은 후에는, 이 저택과 정원을 선종 사찰에 기증하라는 유언을 남기었고, 이로 인해 지쇼지는 사찰의 소유로 바뀌게 되어 현재까지 내려오고 있다. 사찰의 정식 명칭은 히가시야마지쇼지(東山慈照寺)이다. 이 절은 오늘날 임제종의 분파인 쇼코쿠지와 관계를 맺고 있다.

우리가 흔히 알고 있는 지쇼지의 모습은 바로 관음전의 모습이다. 관음전에는 관음보살이 모셔져 있다고 한다. 관음전은 1482년 2월 21일에 건설되기 시작했는데, 초기의 건설 계획은 요시마사의 할아버지 아시카가 요시미쓰가 세운 로쿠온지를 모방하는 것이었다. 로쿠온지가 외관을 황금으로 덮은 것을 흉내내어, 지쇼지의 외관에는 순은을 덮어 씌우려 했던 것이었다. 긴카쿠지(은각사)라는 이름은 당초 절의 외관을 은으로 덮으려 했던 계획에서 온 것이다. 다만 이 이름이 불리기 시작한 것은 기껏해야 에도 시대부터이다.

오닌의 난이 일어나며 사회가 혼란해지자, 절의 건설은 무기한 연기되었다. 요시마사는 사찰을 은으로 덮으려 하였지만, 이 계획은 그가 죽기 전까지도 결코 실현되지 못했다. 이후에도 별다른 추가 공사가 없었기에, 절의 현재의 모습은 요시마사가 마지막으로 보았던 모습과 같다고 추정된다. 이러한 미완성된 모습은 와비 사비의 측면 중 하나로써 설명된다.

로쿠온지처럼 지쇼지는 원래 쇼군의 휴양지로 세워졌다. 쇼군으로써의 통치 기간에, 아시카가 요시마사는 히가시야마 문화라 불리는 새로운 전통 문화를 고양시키려 했다. 오닌의 난이 악화되고 교토가 불타는 등 혼란이 연속해서 일어나자, 요시마사는 쇼군의 자리에서 은퇴하여 지쇼지의 누각에 걸터앉아 정원의 고요함과 아름다움을 감상했다는 기록이 있다.

1485년에 요시마사는 선종의 승려로 출가하였다. 1490년 1월 27일에 그가 사망한 후에 저택과 정원은 불교 사찰이 되었고 요시마사의 법명인 '지쇼지'로 개칭되었다.

2008년 2월부터 지쇼지는 광범위한 복원 공사가 진행되고 있다. 하지만 사원과 관음전 등 주요 전각들은 여전히 대중들에게 개방되고 있다. 다만, 이번 보수 공사에서도 은박을 덧씌울 것이라는 전망은 없다. 수많은 논의 끝에, 일본인 건축가들은 굳이 은박을 씌워 몇 백년간 내려온 지쇼지의 외관을 뜯어고칠 필요가 없다고 판단했다고 한다. 대신 옻칠을 한 지쇼지의 관음전이 연못에 고요히 비칠 때, 연못에 비친 지쇼지의 모습이 은빛으로 아름답게 빛난다고 한다.