El antiguo Portus Veneris se cree que data de al menos mediados del siglo I a. C. Se dice que el nombre se refiere a un templo dedicado a la diosa Venus que estaba situado sobre el promontorio donde se encuentra actualmente la iglesia de San Pedro Apóstol. El nombre también se ha relacionado con el ermitaño san Venerio. En los tiempos romanos la ciudad era, esencialmente, una comunidad de pescadores.

 Mapa de situación de Portovenere, en uno de los extremos del golfo de La Spezia.

Después de la caída del Imperio romano de Occidente, Portovenere se convirtió en base de la flota bizantina en el norte del mar Tirreno, pero fue destruida por los lombardos en 643. Más tarde, fue un objetivo frecuente de las razias sarracenas. Las primeras indicaciones sobre la existencia de un castillo datan del año 1113, y en 1161 se erigieron las murallas. Portovenere se convirtió en feudo de una familia procedente de Vezzano antes de pasar a Génova a principios del siglo XII. En 1494, sufrió los devastadores bombardeos de la flota aragonesa durante su guerra con Génova; posteriormente la parte vieja de la ciudad declinó en importancia, dando lugar al desarrollo del llamado Borgo Nuovo («Distrito nuevo»), que había existido desde 1139 y que se centró en la iglesia de San Pedro.