Het oorspronkelijke gebouw dateerde uit 27 v. Chr. en werd gebouwd onder het consulaat van Marcus Agrippa. De tempel werd in 80 n. Chr. tijdens een grote brand verwoest. Onder keizer Domitianus werd het Pantheon weer hersteld. In 110 tijdens de regering van keizer Trajanus (Keizer van 98 tot 117) werd het Pantheon door de bliksem getroffen. Voor de tweede keer moest het Pantheon weer worden opgebouwd. Keizer Hadrianus liet tussen 119 en 125 het Pantheon geheel herbouwen, waarbij het zijn huidige ronde vorm kreeg. De oorspronkelijke wijdingstekst die Agrippa als opdrachtgever vermeldde werd ook op het nieuwe gebouw aangebracht. Op de gevel aan de voorzijde staat in bronzen letters:
M · AGRIPPA · L · F · COS · TERTIUM · FECIT

Dit betekent: 'Marcus Agrippa, zoon van Lucius, voor de derde maal consul, heeft dit gebouwd'. Hoewel het huidige Pantheon onder Hadrianus werd gebouwd, liet hij niet zijn eigen naam op de gevel vereeuwigen, omdat hij daarmee de senaat voor het hoofd zou stoten. Keizer Domitianus had eerder enkele gerestaureerde gebouwen met z'n eigen naam beschreven, wat hem niet in dank was afgenomen. Het kwam Hadrianus bovendien niet slecht uit dat er op deze plek al eerder door Agrippa was gebouwd. Door de verbinding aan te houden met Agrippa, rechterhand van keizer Augustus, kon Hadrianus zich als legitiem opvolger van Augustus presenteren. De inscriptie komt voor in de biografie van Suetonius over keizer Augustus, waarin een adelaar boven de eerste letter "M" ging zitten. Aangezien het Latijnse woord Mors, de dood, ook met een M begint, zag Augustus hier een voorteken in dat zijn einde naderde.

Na de val van het West-Romeinse Rijk bleef het Pantheon in bezit van de Byzantijnse keizers, hoewel zij geen werkelijke macht meer hadden in Rome. Keizer Phocas schonk de tempel in 609 aan paus Bonifatius IV. Deze paus maakte van het Pantheon een kerk, de Santa Maria ad Martyres. Om die reden is het Pantheon nooit afgebroken, wat bij de meeste andere niet-christelijke tempels in Rome wel is gedaan.

Vanaf de renaissance werd het Pantheon gebruikt als begraafplaats voor vooraanstaande Italianen, van wie Rafaël en Victor Emmanuel II de bekendste zijn.

Het Pantheon is nog in goede staat, maar mist de bronzen plafondbekleding van de koepel. In opdracht van paus Urbanus VIII zijn de bronzen omlijsting van de cassettes in het gewelf en de bronzen ornamenten van de portico omgesmolten. Het verhaal gaat dat dit brons door Bernini is gebruikt om er het baldakijn boven het graf van Petrus in de Sint-Pietersbasiliek van te laten gieten. Dit werd als een grof schandaal beschouwd en leidde tot een beroemd geworden uitspraak: quod non fecerunt barbari, fecerunt Barberini: wat de barbaren niet deden, hebben de Barberini wel gedaan. In werkelijkheid heeft Bernini dit brons niet gebruikt. Hij vertrouwde de legering niet. Op de voorgevel werden twee kleine klokkentorentjes gebouwd, die in de 19e eeuw weer zijn verwijderd.