У прадавні часи стадіон був місцем проведення Панафінейських ігор, присвячуваних покровительці міста богині Афіні. У добу класики були облаштовані дерев'яні лави. Зведений з мармуру стадіон був у 329 до н. е. за ініціативи архонта Лікурга. Значне розширення та оновлення стадіону відбулось за Ірода Аттичного у 140, тоді він мав 50 000 сидінь.

Залишки прадавньої споруди були розкопані та відновлені в середині 19 ст. на кошти великого грецького патріота Евангелоса Заппаса. За його підтримки на стадіоні проведено Олімпійські змагання в 1870 та 1875. [1]

Другий масштабний етап робіт було здійснено в 1895 для проведення перших сучасних Олімпійських ігор за фінансового сприяння Георгіоса Аверофа (його мармурова статуя нині стоїть біля входу). Пожертвування зроблені за запитом спадкоємця принца Костянтина. Відповідальними за проект були архітектори Анастасіос Метаксас та Ернст Зіллер.

Оскільки стадіон в сучасному вигляді споруджено лише на початку відродження Олімпійських ігор, він побудований за давньою моделлю, зокрема його бігові доріжки не відповідають прийнятим стандартам. Стадіон на 50 горизонатальних мармурових рядах вміщує близько 80 000 вболівальників.

До середини 20 століття річка Іліссос протікала просто перед входом до стадіону. В період весняної повені річки часто траплялись паводки, тому ця місцевість отримала назву Жаб'ячий острів. Пізніше її було сховано під проспектом Василія Константіну.