Il tempio è menzionato nel Kashi Khanda dello Skanda Purāṇa[1], nelle Upaniṣad e nei Veda[2]. Fu distrutto e ricostruito numerose volte. La data di costruzione del primo tempio è sconosciuta, ma si sa che fu distrutto dall'esercito di Qutb al-Din di Delhi nel 1194[3][4] e ricostruito da un mercante del Gujarat durante il regno del sultano Shams al-Dīn Iltutmish (1211–1266). Fu demolito nuovamente durante il governo di Hussain Shah Sharqi (1447–1458) o di Sikandar Lodhi (1489–1517). Raja Todar Mal lo ricostruì grazie al finanziamento di Akbar nel 1575[3] o nel 1585[4].

Nel 1669 l'imperatore Aurangzeb distrusse il tempio e costruì al suo posto la moschea Gyanvapi[3]. I resti dell'antico tempio sono visibili nelle fondamenta, nelle colonne e nella parte posteriore della moschea. Nel 1780[1] (o 1777[3]) il tempio fu ricostruito per l'ultima volta, adiancente alla moschea, dal monarca marathi Ahilyabai Holkar di Indore.