A construción realizouse en dúas etapas ou dous momentos: o Panteón de Agripa e o Panteón de Hadriano.

O templo foi mandado construír por Marco Vipsanio Agripa, xenro de Octavio Augusto, a comezos do reinado deste no ano 27 a.C.[1] participando, deste xeito na política de embelecemento da cidade impulsada por Augusto[2] e quixo localizalo nas proximidades do Campo de Marte (Campus Martius) baixo a dirección de Marco Coceio Aucto.[3] De feito, situábase entre a Saepta Iulia e a basílica de Neptuno, construída a costa do propio Agripa nunha zona da súa propiedade, na que os baños de Agripa, a basílica de Neptuno e o propio Panteón estaban aliñados de sur a norte.[4]

 

Inscrición de Agripa, recolocada por Augusto

Semella probable que tanto o Panteón como a basílica de Neptuno fosen a sacra privada de Agripa (edificios privados de uso sagrado) e non aedes publicae (templos de uso público).[5] Esta función menos solemne podería axudar a explicar por que a memoria do nome orixinal e a súa función se perderon con tanta rapidez e facilidade (Ziolkowski especula que foi orixinalmente o templo de Marte no Campus Martius).[6] Dedicoullo a todos os deuses e, especialmente a Marte e Venus, divindades protectoras da familia Xulia. A inscrición orixinal de dedicación do edificio, conservada no friso do pronao, logo da reconstrución hadrianea, reza: M.AGRIPPA.L.F.COS.TERTIUM.FECIT ("Marco Agrippa, fillo de Lucio, cónsul por terceira vez, fíxoo"). Para datalo, cómpre ter n econta que o terceiro consulado de Agripa correspondeu precisamente ao ano 27 a.C., aínda que Dión Casio o cita xunto coa basílica de Neptuno e o Gymnasium Laconiano entre as obras que Agripa completou durante o 25 a.C[7]

Polos restos atopados, afinais do século XIX, a uns 2,50 metros por debaixo do edificio sábese que este primeiro templo era rectangular (43,76x19,82 metros)[8] cunha cela disposta transversalmente, máis ancha que longa (como a Templo da Concordia no Foro Romano e o pequeno Templo de Veiovis no Capitolio), construído en bloques de travertino cubertos con lousas de mármore. O edificio estaba orientado cara ao sur, en sentido contrario á reconstrución de Hadriano, precedido dun pronaos no lado longo que tiña 21,26 metros de ancho. Fronte a ela había unha zona circular descuberta, unha especie de praza que separaba o templo da basílica de Neptuno, cercada por un muro reticulado e cun chan en lousas de travertino. Sobre estas lousas colocáronse outras lousas de mármore, quizais durante a Restauración de Domiciano. O edificio de Agripa, porén, tiña un eixe central que coincidía co do edificio máis recente, e o ancho da cela era igual ao diámetro interno da rotonda. Toda a profundidade do edificio augusto tamén coincidía coa profundidade do pronao de Hadriano.

A única fonte que describe cales foron as decoracións do Panteón de Agripa é Plinio o Vello, quen o viu en persoa. Na súa Naturalis Historia relata, de feito, que os capiteis estaban realizados en bronce de Siracusa[9] e que a decoración incluía caríátides e estatuas frontais. As cariátides, colocadas nas columnas do templo, foran talladas por Dióxenes de Atenas.[10] O templo daba a unha praza (hoxe ocupada pola rotonda de Adriano) limitada no lado oposto pola basílica de Neptuno.

Dión Casio afirma que o "Panteón" tiña este nome quizais porque albergaba as estatuas de moitas divindades ou máis probablemente porque a cúpula do edificio recordaba a bóveda celeste (e polo tanto as sete divinidades planetarias), e que a intención de Agripa era a de crear un lugar de culto dinástico, dedicado aos deuses protectores da Gens Iulia (Marte e Venus), e onde se colocou unha estatua de Octavio Augusto, e dese conxunto de divindades derivaría o nome o edificio. Dado que o emperador se opoñía a ambos, Agripa mandou colocar unha estatua do divino Xulio (é dicir, do César divinizado) dentro e, fóra, no pronao, unha de Octavio e outra de si mesmo, en celebración da súa amizade e do seu celo polo ben público.[11]

No ano 80, produciuse un grande incendio en Roma que asolou varios templos e, entre eles, o templo de Agripa quedou completamente destruído.[12] Foron restaurados por Domiciano e, segundo Suetonio, este tiña o seu nome gravado neles.[13]

O Panteón, volveu arder no 110 baixo Traxano e foi completamente reconstruído durante o reinado de Hadriano.[14] As marcas de fábrica achadas nos ladrillos de construción correspóndense cos anos 123–125, polo cal se supón que o novo templo foi inaugurado por Hadriano nunha data posterior, supóndose que o fixo entre 125 e 128. Aínda que ignoramos quen foi de certo o arquitecto que trazou a nova edificación, hai un consenso xeral entre os especialistas en atribuílo a Apolodoro de Damasco, se cadra o único capaz de acometer unha obra de tal envergadura, e que sabemos que vivía en Roma naquela altura.

No ano 609, o emperador bizantino Focas doouno ao papa, entón Bonifacio IV, quen o consagrou como igrexa cristiá, dedicándoo á María e aos mártires, de aí o seu nome de Sancta Maria ad Martyres; o mesmo papa fixo construír os altares e outras obras interiores. Esta nova dedicación posibelmente salvou o templo dunha máis que probábel destrución, como acontecería con moitos outros monumentos romanos ao longo, sobre todo, da Idade Media.