Het eiland stond bij de oude Egyptenaren bekend als Abu of Yebu, en het ligt op de grens tussen Egypte en Koesj. Het eiland was een ideale plek voor de verdediging van een stad, en het was een populaire plek voor handelaren die de rivier gebruikten.

In het Middenrijk was het de cultusplaats van de goden Chnoem, Satet en Anuket. Op de Hongersnoodstele op het eiland Sehel wordt deze Triade (= godendrie-eenheid) ook genoemd.

Volgens Egyptische mythologie was Elephantine de plaats waar Chnoem, de god van de cataracts met het hoofd van een Ram, verbleef. Hij hield het water van de Nijl in bedwang vanuit de grotten onder het eiland. Er is een Nilometer om de hoogte van een overstroming te meten.

Archeologische opgravingen hebben veel vondsten opgeleverd die aan Chnoem refereren. Deze zijn te bezichtigen in een museum op het eiland. Ook zijn er vondsten uit de tijd van voor de dynastieën.

Tot 1822 waren er ook in relatief goede staat verkerende tempels ter ere van Thoetmosis III en Amenhotep III op het eiland, maar deze werden door de Ottomaanse regering vernietigd.

De Elephantine papyri is een verzameling wetsdocumenten en brieven in het Aramees uit 495 - 399 v.Chr. waarin de samenleving van Joodse soldaten staat vastgelegd die hier gestationeerd waren.