Temppelin rakentaminen alkoi alun perin vuonna 515 eaa. tyranni Peisistratoksen käskystä. Rakennuspaikka oli Ilissos-joen rannalla. Rakentaminen kuitenkin keskeytyi vuonna 510 eaa., kun Peisistratoksen poika Hippias syöstiin vallasta. Demokratian aikana ateenalaiset mahdollisesti pitivät niin suurikokoista rakennushanketta epädemokraattisena. Muun muassa Aristoteles mainitsee temppelin eräänä esimerkkinä siitä, kuinka tyrannit käyttävät suuria rakennushankkeita kansan työllistämiseen, niin etteivät nämä ehdi kapinoimaan.[1][2]

 

Olympoksen Zeuksen temppelin rauniot, taustalla Akropolis.

Temppelin rakentamista jatkettiin 100-luvulla eaa. Antiokhos IV:n rahoituksella. Tämä antoi roomalaisen arkkitehti Cossutiuksen tehtäväksi suunnitella koko maailman suurimman temppelin. Työ kuitenkin keskeytyi jälleen vuonna 164 eaa. Antiokhoksen kuoltua.[1][2]

Vuonna 86 eaa. Ateenan jäätyä Rooman vallan alle kaupungin vallannut kenraali Sulla vei temppelistä kaksi pylvästä Roomaan osaksi Juppiterin temppeliä. Keisari Augustus suunnitteli temppelin rakentamista loppuun, mutta hanke ei edennyt. Temppelin rakentamista jatkettiin uudestaan 100-luvulla keisari Hadrianuksen aikana ja se valmistui lopulta noin vuonna 129–131. Temppeli oli osa Ateenan uutta kaupunginosaa Hadrianupolista (Hadrianoupolista), jonka rakennuksiin kuului myös Hadrianuksen kaari. Roomalaiset kutsuivat temppeliä Juppiter Olympiuksen temppeliksi.[1][2]

Temppeli paloi vuonna 267 herulien hyökkäyksessä. Se vaurioitui myös maanjäristyksessä keskiajalla. Sen kiviä käytettiin muiden rakennusten osina. 1400-luvulla temppelin pylväistä oli pystyssä 21 kappaletta ja 1700-luvulle tultaessa 17 kappaletta. Vuonna 1759 yksi jäljellä olevista pylväistä kaadettiin ja käytettiin kalkkina Tzistarákiksen moskeijan rakentamiseen. Yksi pylväistä kaatui myrskyssä vuonna 1852 ja makaa edelleen siinä mihin jäi.[1][2]

Kun Ateenan antiikin muinaisjäänteitä alettiin tutkia, temppelin jäänteitä kutsuttiin aluksi Hadrianuksen pylväiksi, sillä tutkijat eivät tienneet, mistä rakennuksesta oli kyse. Alueen arkeologiset kaivaukset alkoivat 1880-luvulla. Samalla temppeli tunnistettiin suureksi Zeuksen temppeliksi.[1]