Після битви при Акції (31 р. до н. е.) Марк Агріппа розпочав вражаючу будівельну програму: пантеон був частиною комплексу, створеного ним у власному маєтку в Кампусі Марція в 29–19 роках до нашої ери, який включав три будівлі, вирівняні з півдня на північ: Терми Агріппи, Базиліку Нептуна та Пантеон.

Здавна вважалося, що нинішній будинок був побудований Агріппою з пізнішими переробками, і це було частково через напис на латині на передній частині храму: M · AGRIPPA · L · F · COS · TERTIVM · FECIT або повністю: «Marcus Agrippa Lucii filius consul tertium fecit», що означає «Маркус Агріппа, син Луція, зробив цю будівлю на посаді консула втретє» Однак археологічні розкопки показали, що Пантеон Агріппи був повністю знищений, окрім фасаду. Ліз Гетланд стверджує, що теперішнє будівництво розпочалося в 114 році під Траяном, через чотири роки після того, як воно було знищено вогнем вдруге. Спираючись на низку доказів, стає очевидно, що архітектором був Аполодор Дамаський з Траяна.

У результаті розкопок наприкінці XIX століття археолог Родольфо Ланчані зробив висновок, що Пантеон Агріппи був спроєктований так, що він стикався з півднем, на відміну від сучасного плану, що виходить на північ, і що він має скорочений Т-подібний план. Цей опис був широко прийнятий до кінця XX століття. Новіші археологічні розкопки припускають, що будівля Агріппи могла мати круглу форму з трикутним ґанком.

Єдині уривки, з яких дізнаємося про прикраси пантеону Агріппана, описані очевидцем, — це «Природнича історія» Плінія Старшого. З неї ми знаємо, що стовпи, які М. Агриппа розмістив у Пантеоні, виготовлені із сиракузької бронзи, також те, що Пантеон Агріппа був прикрашений Діогеном Афінським і Каріатидою. Колони цього храму, розглядаються як шедеври досконалості разом зі статуями, що розміщені на даху.

Пантеон Августана був знищений разом з іншими будівлями у величезній пожежі у 80 році. Доміціан відновив Пантеон, який знову був спалений у 110 році. Агріппа закінчив будівництво будівлі під назвою Пантеон. Таке ім'я воно має, можливо, тому, що серед зображень, які прикрашали його статуї, було багато богів, включаючи Марса і Венеру.

У 609 році візантійський імператор Фока подарував будівлю папі Боніфацію IV, який перетворив її на християнську церкву та 13 травня 609 року освятив її та назвав на честь св. Марії та мучеників. Ще один папа Боніфацій попросив того ж імператора наказати, щоб у старому храмі, названому Пантеоном, після знищення язичницької погані зробити церкви для святої Діви Марії та всіх мучеників, щоб відзначати поминання святих відтепер там, де колись поклонялися не богам, а демонам.

Освячення будівлі як церкви врятувало її від занепаду, руйнування, які спіткали більшість будівель Стародавнього Риму протягом ранньосередньовічного періоду. Однак Диякон Павло фіксує спогад будівлі імператором Константином II, який відвідав Рим у липні 663 року: «Залишившись у Римі дванадцять днів, він зняв усе, що в античні часи було виготовлено з металу для прикраси міста, настільки, що він навіть збив дах церкви блаженної Марії, який свого часу називався Пантеон і був заснований на честь усіх богів і тепер за згодою колишніх правителів був місцем усіх мучеників; він забрав звідти бронзові кахлі і послав їх з усіма іншими прикрасами до Константинополя».

Протягом століть було вилучено багато тонкого зовнішнього мармуру — який зараз знаходяться в Британському музеї. Іншою втратою були зовнішні скульптури, які прикрашали фронтон над написом Агріппи. Мармуровий інтер'єр значною мірою зберігся, хоча і з великою реставрацією.

З епохи Відродження Пантеон був місцем кількох важливих поховань. Серед похованих є художники Рафаель та Аннібале Карраччі, композитор Аркангело Кореллі та архітектор Бальдазаре Перуцці. Архітектор Філіппо Брунеллескі використовував Пантеон як натхнення для своїх робіт.

Папа Урбан VIII (1623–1644) наказав розплавити бронзову стелю Пантеону. Більша частина бронзи була використана для виготовлення бомбардувальних споруд для укріплення Замку Сант-Анджело, а решта використовувалась Апостольською палатою для різних інших робіт.

У 1747 році широкий фриз під куполом був відновлений, але мало нагадував оригінал.

Пантеон використовує католицька церква. У неділю та святі дні тут проводяться меси.