Tereny Olimpii zamieszkane były nieprzerwanie pomiędzy 2800 a 1100 p.n.e. – w okresie od wczesnej do późnej kultury helladzkiej[1]. Pierwsze ślady kultu Pelopsa i jego żony Hippodamei pochodzą z okresu późnej kultury helladzkiej[1]. Z tego samego (lub nawet wcześniejszego) okresu pochodzą ślady kultu Kronosa, Gai, Ejlejtyi i Temidy[1][2]. Olimpia stała się centrum kultu Zeusa ok. X wieku p.n.e.[3] po inwazji Dorów w XII w. p.n.e.; kult ten stale się rozwijał aż do początku VIII w. n.e.[1] Nazwa Olimpia nawiązuje do Olimpu – siedziby Zeusa[3].

U stóp wzgórza Kronos nad Alfiosem (Alfejos) i Kladeosem znajdował się początkowo temenos, gdzie z czasem wzniesiono sanktuarium poświęcone Zeusowi[4] – jego powstanie szacuje się na ok. 1000 p.n.e. Sanktuarium Zeusa stanowił ogrodzony, prostokątny 4-hektarowy święty gaj (gdzie posadzono m.in. oliwki, topole, dęby i sosny[1]) zwany Altisem (od stgr. alsos = pol. drzewo[4]). Początkowo (IX–VIII w. p.n.e.) w otoczonym murem sanktuarium znajdował się jedynie ołtarz Zeusa i Pelopejon – grób legendarnego Pelopsa[4].

Wokół sanktuarium odbywały się co cztery lata panhelleńskie igrzyska[3], zwane od tego miejsca olimpijskimi. Według lokalnego podania to Pelops miał zapoczątkować organizację igrzysk olimpijskich (grecki geograf Pauzaniasz uważał Heraklesa za inicjatora igrzysk)[4]. Pierwsze odnotowane igrzyska odbyły się w 776 p.n.e. a kolejne miały miejsce co cztery lata[2]. W roku tym Ifitos – król Elidy, Kleostenes z Pizy i Likurg przywrócili organizację igrzysk w Olimpii po inwazji doryckiej i wprowadzili instytucję „świętego pokoju” (Ekechejria)[5]. „Święty pokój” ogłaszano na 1 miesiąc na terenie całej ówczesnej Grecji, święty stawał się wówczas również teren wokół Altisu – nie wolno było wnosić tu broni[2]. Igrzyska obejmowały wówczas jedną dyscyplinę – bieg na dystansie jednego stadionu[2].

Coraz popularniejsze olimpiady zapoczątkowały rozkwit Olimpii[1], która stała się panhelleńskim ośrodkiem religijnym[2]. W VII w. p.n.e. zwiększono liczbę dyscyplin olimpijskich – dodano m.in. bieg długodystansowy, pięciobój, zapasy, boks oraz wyścigi konno i wyścigi rydwanów[6]. Okres szybkiego rozwoju sanktuarium przypadał na okres archaiczny, kiedy to wzniesiono monumentalne budowle, m.in. świątynię Hery (wczesny VI w. p.n.e.[7]), prytanejon (ok. 475 p.n.e.[8]), buleuterion (ok. 580 p.n.e.[9]) i pierwszy stadion[5]. Obok sanktuarium powstały liczne skarbce – łącznie w latach ok. 600–450 p.n.e. przynajmniej 15[10], z których najbardziej znany jest skarbiec Megaryjczyków, datowany na VI w. p.n.e.[11] Jest to skromna budowla w stylu doryckim, reprezentująca typ świątyni między antami[11].

Na okres klasyczny (500–323 p.n.e.) przypada budowa świątyni Zeusa i nowego stadionu poza Altisem[5]. Świątynia Zeusa została ukończona w ok. 456 p.n.e. – była to największa świątynia na Peloponezie[6]. Wewnątrz świątyni znajdował się jeden z tzw. siedmiu cudów świata – 13-metrowy posąg Zeusa (ok. 430 p.n.e.) dłuta Fidiasza (ok. 490 p.n.e.–ok. 430 p.n.e.)[12][10]. Oprócz tego wzniesiono szereg innych budowli o niereligijnym charakterze (m.in. łaźnie, kolejne skarbce)[5].

W dobie epoki hellenistycznej powstał Leonidajon – dom gościnny dla honorowych gości oraz Filipejon – świątynia ufundowana przez Filipa II Macedońskiego, a wokół sanktuarium kolejne obiekty sportowe: stadion na 45 tys. widzów, hipodrom, Metroon, gimnazjon z palestrą oraz łaźnie[5][13]. W czasach Cesarstwa Rzymskiego sanktuarium zostało kilkakrotnie splądrowane, wzniesiono łaźnie, luksusowe wille i akwedukt[5]. W latach 160–170 n.e. Olimpię odwiedził grecki geograf Pauzaniasz, który sporządził szczegółowe opisy sanktuarium za czasów jego największej świetności, poświęcając mu dwie z dziesięciu ksiąg swojego dzieła Periegesis tes Hellados (pol. „Wędrówki po Helladzie”)[10]. Jego opisy, obok wyników badań archeologicznych, posłużyły do budowy modeli sanktuarium[10].

Sanktuarium funkcjonowało w pierwszych latach chrześcijaństwa za panowania Konstantyna I Wielkiego[5]. Ostatnie igrzyska odbyły się w Olimpii w roku 393, wkrótce potem w 394 roku Teodozjusz I Wielki wydał edykt zakazujący wszelkich świąt i uroczystości pogańskich[5]. W roku 426 Teodozjusz II rozkazał zniszczenia Olimpii[5], m.in. spalono wówczas świątynię Zeusa[12]. W połowie V w. w sanktuarium osiedliła się mała społeczność chrześcijańska i przekształciła warsztat Fidiasza w kościół[5]. Trzęsienia ziemi w 551 i 552 roku dokonały kolejnych zniszczeń, m.in. świątynia Zeusa uległa częściowemu zawaleniu[5]. Na przestrzeni wieków obszar sanktuarium wielokrotnie zalewały wody Kladeos i Alfios – sanktuarium przykryła warstwa piachu i szlamu o grubości 5–7m[5].