Пантеонът е построен през 118 – 126 г. по време на управлението на император Адриан.

Храмът е издигнат на мястото на предишния Пантеон, построен два века по-рано през 27 – 25 г. пр. Хр. от римския консул Марк Випсаний Агрипа по време на третото му консулство в чест на победата при Акциум през 31 г. пр. Хр. От тази първа сграда се е запазил само портикът. На фронтона на портика е изписан надпис на латински език: „M·AGRIPPA·L·F·COS·TERTIVM·FECIT“ (съкращение от „Marcus Agrippa, Lucii filius, consul tertium fecit“, тоест „Марк Агрипа, син на Луций, консул за трети път, построи това“). Постройката на Марк Агрипа изгаря по време на големия пожар през 80 г. Пантеонът е възстановен от император Домициан, но и втората поред сграда изгаря в пожар през 110 г. Изграждането на сегашната сграда започва през 118 г. и завършва през 126 г. при император Адриан. Предполага се, че строителните работи са се ръководели от архитекта Аполидор Дамаски.

Римският Пантеон е издигнат като храм на деветте божества на седемте планети от официалната религия в Древния Рим.

През 202 г. сградата е ремонтирана от Септимий Север и Каракала, за което свидетелства друг, по-малък надпис.

На 13.05.609 г. византийският император Фока подарява храма на папа Бонифаций IV и езическият храм е осветен като християнска църква, посветена на Богородица и християнските мъченици (Santa Maria ad Martyres). Названието е дадено в чест на анонимни християнски мъченици, чиито мощи били пренесени от катакомби в криптата на Пантеона.[1] Денят 13 май започва да се отбелязва като празник на Вси Светии. В средата на VIII век папа Григорий III освещава на 1 ноември в чест на Вси Светии един от параклисите на катедралата „Свети Петър“ и премества празнуването на деня на Вси Светии на 1 ноември.

Превръщането на езическия храм в християнска църква спомага за запазването на сградата като цяло, но не и да спре частичното разграбване на отделни нейни елементи. По време на посещението си в Рим през 663 г. византийският император Константин II сваля позлатеното бронзово покритие от купола на Пантеона. През VІІІ век то е заменено с оловно. През Средновековието е отмъкната и голяма част от мраморната облицовка на сградата. През 1270 г. на правоъгълната покривна площадка над преддверието е издигната малка камбанария, но тя не просъществувала дълго. През ХV век при разчистването на пространството пред Пантеона от лавки и бараки са открити части от бронзовата квадрига, която през античността се намирала над портика. При папа Урбан VІІІ Берберини (1623 – 1644 г.) е свалено бронзовото покритие от гредите на колонадата, за да се излеят оръдия за папския замък „Сант Анжело“, което предизвиква гнева на римляните и каламбура: „Това, което не сториха варварите, го направи Берберини“. За да смекчи недоволството папата нарежда да се построят две малки камбанарии в двата края на фронтона, по проект на Бернини. Римляните обаче не ги харесали и нелепо изглеждащите камбанарии получили названието „магарешките уши“. Двете камбанарии са премахнати през 1883 г.[2] През 1820 г. е извършена реставрация по нареждане на папа Пий VІІ, а през 1857 г. – друга такава по времето на понтификата на папа Пий ІХ.

От епохата на Ренесанса насетне в Пантеона започват да погребват видни личности. Днес Римският пантеон все още се използва като църква, като в него редовно се провеждат религиозни богослужения при специални празници.