L'antic Portus Veneris es creu que data d'almenys mitjan segle i aC. Es diu que el nom es refereix a un temple dedicat a la dea Venus, que estava situat sobre el promontori on es troba actualment l'església de Sant Pere Apòstol. El nom també s'ha relacionat amb l'ermità Sant Venerio. En els temps romans la ciutat era, essencialment, una comunitat de pescadors.

Portovenere es troba en un dels extrems del golf de La Spezia. Després de la caiguda de l'Imperi Romà d'Occident, Portovenere es va convertir en base de la flota romana d'Orient al nord de la mar Tirrena, però va ser destruïda pels llombards al 643. Més tard, va ser un objectiu freqüent de les ràtzies sarraïnes. Les primeres indicacions sobre l'existència d'un castell daten de l'any 1113, i el 1161 se'n van erigir les muralles. Portovenere es va convertir en feu d'una família procedent de Vezzano abans de passar a Gènova a principis del segle xii. El 1494, va sofrir els devastadors bombardejos de la flota aragonesa durant la seva guerra amb Gènova; posteriorment, la part vella de la ciutat declinà en importància, donant lloc al desenvolupament de l'anomenat Borgo Nuovo ('districte nou'), que havia existit des del 1139 i que es va centrar en l'església de Sant Pere.