Изначально Олимпия — поселение в греческой области Элида, расположенной в северо-западной части Пелопоннеса, в долине между рекой Алфей и её притоком Кладеон. Древнейшие поселения на этой территории относятся к неолиту. В микенскую эпоху здесь господствовало племя писатов. Первоначальное святилище в Олимпии находилось у подножия холма, который позже был назван холмом Кроноса, и было посвящено богине земли Гее. Общее почитание в тех местах богини плодородия позже было связано с культами Геры, Деметры и Гипподамии, в то время как муж этой богини впоследствии отождествлялся с Зевсом, Гераклом Ахейским и Пелопсом.

Когда вместе с дорийцами в эту местность пришли эолийцы (XII век до н. э.), им удалось достаточно быстро подчинить себе плодородную равнину. Олимпия вошла во владения полиса Элида в VII в. до н. э., и элейцы установили в ней прочный культ Зевса, в который влились остальные местные культы.

Кто основал в Олимпии Олимпийские игры, неясно. В мифах есть по крайней мере три разные версии, среди которых преобладает следующая: Игры основал Пелопс, который победил в состязаниях колесниц царя писов Эномая. Очевидно, что состязания в Олимпии проводились и раньше VIII в. до н. э., но традиционная дата первой Олимпиады — 776 год до нашей эры. В VII—VI веке происходили длительные столкновения между элейцами и писатами за право проведения Игр, победу в этой борьбе в конце концов одержали элейцы. К той же эпохе относится введение Олимпийского перемирия, на период которого все войны между греческими полисами прекращались.

VI—V века стало временем наибольшего расцвета Игр. К V веку относится знаменитая статуя Зевса работы Фидия, а также дошедший до нас фриз Храма Зевса, многочисленные постройки. После этого времени начался постепенный закат. Игры постепенно теряли религиозный характер и становились чистым спортом, перестали быть редкостью подкуп судей и прочая коррупция.

Римский диктатор Сулла в 80 г. до н. э. увёз всех атлетов к себе в Рим, чтобы они украсили один из его триумфов.

Согласно Светонию, около 40 года н. э. римский император Калигула хотел перенести статую Зевса к себе в Рим: «Он распорядился привезти из Греции изображения богов, прославленные и почитанием и искусством, в их числе даже Зевса Олимпийского, — чтобы снять с них головы и заменить своими», когда же приступили к исполнению «статуя Юпитера, которую он приказал разобрать и перевезти в Рим, разразилась вдруг таким раскатом хохота, что машины затряслись, а работники разбежались»[1].

Нерон организовал для себя Олимпиаду на третьем году цикла (67 год н.э) и несмотря на то, что не финишировал вообще, был увенчан лавровым венком как победитель состязаний колесниц. В эпоху Адриана и, позднее, в короткое правление Юлиана Отступника, предпринимались попытки оживить древние игры, но безрезультатно. Христианский император Римской империи Феодосий запретил проведение Олимпийских игр в 394 году, прервав более чем тысячелетнюю традицию.

Храм Зевса был сожжён в 426 году по приказу Феодосия Второго, а разрушен окончательно землетрясениями 522 и 551 годов и разливами Алфея. Византийцы жили в этой местности до IX века нашей эры, причем с VII—VIII веков основным населением местности были пришлые славянские племена. Достаточно сказать, что в средневековье место, где была раньше древняя Олимпия, называлось Сербия. Археологические раскопки начались в 1870-е годы, этот многолетний труд осуществляли германские археологи. С перерывом на Вторую мировую войну раскопки продолжаются до настоящего времени.