Poiché non sono stati scoperte iscrizioni nelle grotte dell'isola, la storia antica è solo un'ipotesi. Secondo una leggenda sia Pandava, eroe del poema epico indù del Mahābhārata, che Banasura, il devoto demone di Shiva, sono entrambi accreditati della costruzione dei templi e delle grotte. La tradizione locale sostiene che le grotte non sono artificiali, mentre gli storici dell'arte le hanno datate tra la fine del V e la fine dell'VIII secolo d.C. Scavi archeologici hanno portato alla luce[1] dei Kshatrapa, monete risalenti al IV secolo d.C.

Il luogo ruota storicamente sulla difesa della dinastia Maurya governanti del Konkan nei confronti dell'imperatore Badami Chalukyas Pulakesi II (609-642) durante una battaglia navale del 635 d.C. L'isola Elephanta in quel periodo storico prendeva il nome di Puri o Purika, e fu anche capitale del regno Maurya Konkan. Alcuni storici attribuiscono le grotte all'epoca del regno Maurya Konkan, risalente a metà del VI secolo d.C., anche se altri confutano questa affermazione, affermando che un regno relativamente piccolo come il Maurya Konkan non avrebbe potuto intraprendere uno scavo, per il quale sarebbe stato necessario uno "sforzo quasi sovrumano" per scolpire nella roccia solida interi templi, non potendo disporre di sufficiente manodopera specializzata per la produzione di sculture di così "alta qualità" artistica.[2][1]

 Grotte di Elephanta, c. 1905. Notare le colonne spezzate, restaurate nel 1970.

Altri storici attribuiscono la costruzione al Kalacuris, tra la fine del V ed il VI secolo d.C. che può aver avuto un rapporto feudale con il Maurya Konkan. In un'epoca in cui era prevalente il politeismo, la grotta di Elephanta rappresentava la principale dedica al monoteismo della setta del Shivaismo Pàshupata, una setta a cui appartenevano sia il Kalacuris che il Maurya Konkan.[1]

Circolano molte ipotesi sui costruttori delle caverne. Per esempio: i Chalukyas che sconfissero sia i Kalacuris che i Maurya Konkan, sono da alcuni ritenuti, verso la metà del VII secolo, gli artefici della grotta principale, così come lo sono stati gli Rashtrakutas, tra l'inizio del VII e la fine del VIII d.C. Infatti la grotta Shiva di Elephanta è simile, in alcuni aspetti, al tempio del Rashtrakuta risalente all'VIII secolo d.C., il tempio di Kailasanathar presso Ellora. La Trimurti di Elephanta che mostra i tre volti di Shiva è simile alla Trimurti di Brahmā, Visnù e Mahesh (Shiva) dell'insegna reale dei Rashtrakutas. Le sculture di Nataraja e di Ardhanarishvara sono attribuite al Rashtrakutas.[1][3]

 La scultura di elefante dell'isola è attualmente installata presso lo Jijamata Udyaan zoo di Mumbai.

Più tardi, l'isola fu governata da un'altra dinastia Chalukyan, successivamente dal sultanato del Gujarat, che, tra il 1534 ed il 1661, si arrese al dominio portoghese. Da allora, l'isola venne chiamata Gharapuri Elephanta, nome ancora usato nella locale lingua marathi. I portoghesi chiamarono l'isola Elephanta Island in onore di un enorme statua, una roccia scavata nella durissima pietra basaltica a forma di elefante, installata successivamente su una collinetta ad est del villaggio di Gharapuri. Attualmente la statua si trova nello zoo di Mumbai lo Jijamata Udyaan[1][3]

La Regola portoghese fu causa di un calo della popolazione indù dall'isola e l'abbandono della grotta principale, la grotta di Shiva, come luogo di culto indù regolare, anche se il culto Mahashivratri, legato alla festa di Shiva, è ancora presente.[4] Il dominio coloniale portoghese fece danni considerevoli ai santuari. I soldati utilizzarono i rilievi della grotta di Shiva per il tiro al bersaglio, risparmiando solo la scultura rappresentante la Trimurti. Hanno anche rimosso una scritta relativa alla creazione delle grotte. Mentre alcuni storici accusano solo i portoghesi della distruzione delle grotte, altri ipotizzano come causa il dilavamento e le infiltrazioni prodotte dall'acqua piovana. I portoghesi lasciarono l'isola nel 1661 a causa del trattato conseguente al matrimonio tra Carlo II d'Inghilterra e Caterina di Braganza, figlia del re Giovanni IV del Portogallo : come parte della dote di Caterina verso Carlo le isole passarono all'Impero britannico.[5][1][6]

Anche se la grotta principale venne restaurata nel 1970, le altre, tra cui tre dotate di sculture importanti, sono ancora gravemente danneggiate.[1] Le grotte sono state dichiarate, nel 1987, patrimonio dell'umanità da parte dell'UNESCO in base a specifici criteri culturali: .. le grotte rappresentano un capolavoro del genio creativo umano.. e .. [in grado] di portare una testimonianza unica o quanto meno eccezionale di una tradizione culturale o di una civiltà vivente o scomparsa.