Die ältesten ausgegrabenen Baureste an dieser Stelle stammen wohl von einem Tempel aus der ersten Hälfte des 6. Jahrhunderts v. Chr., der wahrscheinlich unter der Tyrannis des Peisistratos erbaut wurde. Seine Söhne Hippias und Hipparchos ließen an dessen Stelle einen riesenhaften Tempel errichten, wohl nach dem Vorbild der kurz vorher begonnenen Dipteroi in Ionien. Nach dem Sturz der Tyrannis blieb der Bau unfertig. Die vorbereiteten Säulentrommeln wurden größtenteils für den Bau der Mauer des Themistokles verwendet. Weiteres Baumaterial wurde wahrscheinlich zum Bau des Vorgängerbaus des Parthenon auf der Akropolis herangezogen. Dass man Material aus einem Heiligtum entfernte, ist ungewöhnlich und legt nahe, dass der noch ungeweihte Bau eher als Denkmal der Tyrannenherrschaft aufgefasst wurde und nicht als Eigentum des Gottes Zeus. Ein Versuch in spätklassischer Zeit, zumindest den Naos zu vollenden, blieb ebenfalls in den ersten Anfängen stecken.

Erst im Hellenismus beauftragte 174 v. Chr. der mächtige und äußerst ambitionierte Seleukidenkönig Antiochos IV. den römischen Architekten Decimus Cossutius damit, einen Tempel auf dem alten Fundament zu errichten. Nach dem Tod des Königs 164 v. Chr. blieb der bereits weit gediehene Bau abermals unvollendet liegen. Nachdem Sulla 86 v. Chr. Athen erobert hatte, ließ er zwei Säulen des Olympieion nach Rom bringen und im Tempel des Jupiter Capitolinus verbauen. Während der Regierungszeit des Augustus wurde ein Versuch unternommen, den Tempel fertigzustellen und dem genius Augusti zu weihen (Sueton, Augustus 60). Doch erst unter Kaiser Hadrian, einem Bewunderer der griechischen Kultur, wurde das Olympieion um 131/132 n. Chr. nach dem unveränderten Plan des Cossutius endgültig vollendet und geweiht.

Wann und wie genau das Olympieion zerstört wurde, ist unbekannt, wahrscheinlich jedoch durch ein Erdbeben im Mittelalter. Danach wurden die Ruinen als Steinbruch benutzt. Mit archäologischen Ausgrabungen wurde 1889 begonnen.