Totila arrasa los muros de Florencia; quedando solamente el Baptisterio.

Durante mucho tiempo, se creyó que el Baptisterio fue originariamente un templo romano dedicado al dios Marte, el dios tutelar de la vieja Florencia.

Se ha supuesto que esta atribución se origina en Dante Alighieri, pero esto no es correcto, fue propuesta por Giovanni Villani en el siglo XIV. Las excavaciones realizadas en el siglo XX, no obstante, han demostrado que había un muro romano del primer siglo atravesando la plaza del Baptisterio. Probablemente fue construido sobre los restos de una torre de guardia romana en una esquina de este muro, u otro edificio romano. De todas formas, se sabe con certeza que un primer baptisterio octogonal fue construido aquí en el siglo IV o V de nuestra era y fue posteriormente reemplazado por otro baptisterio en el siglo VI.

Su construcción se le atribuye a Teodolinda, reina de los Lombardos (570-628) para conmemorar la conversión de su marido, el rey Autario. Fue la segunda basílica de la ciudad después de la de San Lorenzo, fuera de las murallas de la ciudad, y precedió a la iglesia de Santa Reparata. Fue inaugurada el 4 de marzo de 897, cuando un enviado del Sacro Imperio Romano Germánico se sentó por primera allí, para impartir justicia. Probablemente, las pilastras de granito fueron tomadas del foro romano en Florencia, donde se encuentra actualmente la Plaza de la República. Durante ese tiempo, el baptisterio se encontraba rodeado por un cementerio con sarcófagos romanos, utilizados como tumbas por importantes familias florentinas, (ahora en el Museo dell'Opera del Duomo).

Un nuevo baptisterio octogonal, y mucho más grande, fue construido en estilo románico, alrededor del año 1059, evidencia de un período de expansión económica e importancia política en Florencia. Fue consagrado el 6 de noviembre de 1059 por el papa Nicolás II. Según la leyenda, los mármoles llegaron desde Fiesole, que había sido conquistada por Florencia en 1078. Otros mármoles fueron sacados de antiguas edificaciones. La construcción se finalizó en el año 1128. Una lámpara octogonal fue añadida al techo del pabellón alrededor de 1150. Fue ampliada con un ábside rectangular, en el lado oeste en el año 1202. En las esquinas, bajo el techo, hay unas monstruosas cabezas de león con cabezas humanas bajo sus garras. Son tempranas representaciones de Marzoxxo, el león del heraldo florentino (véase Loggia dei Lanzi).

Entre los siglos XIV y XVI, se le añadieron tres puertas dobles de bronce, con estatuas de mármol y bronce sobre ellas. Esto da un buen indicio de que el baptisterio, y no la catedral, fue inicialmente el edificio de más alto valor para los florentinos.