El templo fue construido alrededor del siglo XI, durante el reinado del rajá Udayana y hasta el reinado de Anak Wungsu. Udayana es uno de los reyes más famosos de Bali, de la dinastía Warmadewa. Mediante su matrimonio con una princesa javanesa llamada Gunapriya Dharma Patni, tuvo dos hijos, Erlangga y Anak Wungsu. Erlangga legó a ser rajá de Java Oriental, mientras que Anak Wungsu gobernó en Bali. Se estima que fue en esa época cuando se construyó el templo Gunung Kawi. Una de las evidencias arqueológicas para reforzar esta suposición es la inscripción en una falsa puerta que usa la letra kediri: 'haji lumah ing jalu' que significa "el rey que (simbólicamente) está enterrado en jalu". El rey es Udayana. Mientras que la palabra jalu es una designación para espolones (armas) en un gallo, pero también puede asociarse con una daga kris. El templo fue redescubierto por arqueólogos holandeses alrededor de 1920.

Según una leyenda local, el candi fue construido por un mago llamado Kebo Iwa. Con sus poderes sobrenaturales, Kebo Iwa utilizaba sus uñas afiladas y fuertes en las paredes rocosas del río Pakerisan. Las paredes rocosas parecen estar finamente talladas, formando un hermoso grupo de templos. Kebo Iwa pudo completar el trabajo, que debería haber sido realizado por muchas personas y durante mucho tiempo, solamente durante un día y una noche.