Первісно Олімпія являла собою територію, що належала храму перед воротами Піси в тому місці, де річка Кладеос вливається в Алфей. Після руйнування Піси в 641 до н. е., елейці не дозволили виникнути тут новому місту і, таким чином, назавжди утримали за собою право завідування святилищем, що розташовувалось в Олімпії. Цій квітучій місцевості був дарований вічний мир, озброєне військо не могло перетнути його меж, тому що вся Еліда стала присвяченою верховному олімпійському богу Зевсові.

Олімпія лежала біля підніжжя південного схилу гори Кронос (в давніх джерелах Κρονίον), на відстані 300 стадій від Еліди і 1485 — від Афін[1]. Вона складалася з двох різко відокремлених одна від одної частин по обидва боки від Священного Гаю, або Альтіса (Άλτις). В самому Альтісі розміщувалися виключно предмети, пов'язані з культом Зевса. На заході, де Олімпія простягалась до берегів Кладеона, побудували гімназію, палестру і монкадеон. У східній частині Олімпії, також за стінами Священого Гаю, був облаштований стадіон та іпподром.

Зародження спортивних змагань сягає доісторичної доби, коли з давніми мешканцями пеласгічного племені, царя яких Еномая переказ називає володарем Піси, з'єдналися ахейські племена. Останні прийшли в Еліду під проводом Пелопса. В пам'ять про Пелопса пізніше засновані поховальні ігри, що здійснювалися на берегах Алфея і поєднувались із ритуалами шанування пеласгічного Зевса. Ігри та культ Зевса збереглися і після того, як сюди прийшов легендарний Геракл (його ім'я служить міфічним виразом доричного впливу). Відтепер Геракл вважався засновником Олімпійських свят, відновником ігор Пелопса і засновником тих установ, завдяки яким Олімпія стала осередком не тільки Пелопоннесу, але і всієї Греції.

Історичний час ігор починається з того часу, коли Лікург Спартанський та Іфіт Елідський уклали священний союз, яким встановлювався порядок Олімпійських ігор і текст якого, колоподібно написаний на металевому диску, який, за свідченням Плінія Старшого, можна було побачити принаймні в 200 році до н. е. Після цього 776 до н. е. почали вважати роком відліку першої олімпіади — періодом ігор, повторюваних через кожні 4 роки на 5-й.

З часу 15 олімпіади участь в іграх стала загальнішою, з 30 олімпіади Олімпійські ігри поширилися на всю Грецію, а з 40-ї — учасниками ігор стали малоазійські греки, греки Великої Греції і Сицилії. Період розквіту Олімпійських ігор тривав до 90 олімпіади і довше. З часу 80 олімпіади увійшло у звичай читати на Олімпійських іграх літературні твори (ἐπιδείξεις) і вимовляти вірші. Так, Геродот читав в Олімпії уривки зі своєї історії перських воєн. Хвилювання Ахейського союзу не переривали їх, так само, як і панування римлян, навпаки зокрема римські імператори Тиберій і Нерон самі брали участь в Олімпійських іграх.

Місто почало занепадати, коли на 10-му році царювання Феодосія Великого, у 394 році нашої ери, після 293 олімпіад, Олімпійські ігри оголошувались забороненими, оскільки розглядалися як рудимент язичництва. Невдовзі 406 н. е. імператор Феодосій II наказав зруйнувати всі храми і споруди в Олімпії.