Temppeli perustettiin vuonna 778[1][2], joten se on vanhempi kuin Kioto. Perustuksesta on useita tarinoita: legendan mukaan buddhalainen munkki Enchin sai näyssä tietää löytävänsä kirkkaan Yodojoen lähteen. Etsintänsä aikana Enchin kohtasi askeetti Gyōein. Gyōei antoi hänelle puupalan, johon oli asettunut armon ja myötätunnon bodhisattvan Kannonin henki. Palasesta kaiverrettiin Kannonin kuva ja Enchin asetti sen puumajaan perustaen siten Kiyomizu-deran. Legendan jatko kertoo, miten keisarin kenraali Sakanoue Tamuramaro kohtasi Enchinin ollessaan peurametsällä. Enchinin puhe eläinten tappamista vastaan sai Tamuramaron katumaan, ja tämä määräsi rakennettavaksi paikalle kunnollisen temppelin.[1]

Vuonna 798 Tamuramaro rakennutti temppelin päähallin uudelleen ja käytti sen rakennusosiksi Nagaoka-kyōn hylätyn palatsin hallia.[3] Kiyomizu-dera toimi yhdessä Naran Kōfuku-jin kanssa Narasta peräisin olevan Hossō-suuntauksen temppelinä, ja kiotolaiset Hieivuoren munkit polttivat sen useita kertoja.[3][4] Suurimman osan temppelin nykyisistä rakennuksista on rakennuttanut shōgun Tokugawa Iemitsu vuonna 1633.[1]