Anche se le origini più antiche del borgo vengono fatte risalire al VI secolo a.C. e alla presenza dei popoli Liguri[1], le prime datazioni storiche di Porto Venere risalgono a Claudio Tolomeo (150 d.C.[1]) e all'Itinerario Marittimo (Itinerarium Maritimum Imperatoris Antonini Augusti) dell'imperatore Antonino Pio del 161 d.C.[2] nel quale il borgo viene definito come vicus (scalo) e poi castrum sito tra le località di Segesta Tigulliorum (l'odierna Sestri Levante) e Luni[2].

Il nome latino del borgo (Veneris Portus[1]) deriva dal tempio dedicato alla dea Venere Ericina[1], che sorgeva sul luogo stesso sul quale oggi è la chiesa di San Pietro[1]. La dedica a Venere era probabilmente legata al fatto che, secondo il mito, la dea era nata dalla spuma del mare, abbondante proprio sotto quel promontorio.

In epoca romana, e poi bizantina, il borgo antichissimo (castrum vetus[1]) sorgeva sull'odierno piazzale Spallanzani, ma è oggi pressoché del tutto scomparso. I pochi reperti tardo romani rimasti consistono in una cisterna circolare sulla Punta di San Pietro, in alcune murature rinvenute sotto il piazzale Spallanzani e soprattutto con l'aula dell'antico sacello paleocristiano (incluso nella gotica chiesa di San Pietro).

Da semplice borgo di pescatori, alla metà del VI secolo Porto Venere divenne base navale della flotta bizantina[1]. Più tardi costituirà uno dei caposaldi marittimi della resistenza alla conquista longobarda[3].

Si ha notizia sicura di Porto Venere come sede di Abbazia dalle lettere di S. Gregorio Magno a Venanzio di Luni nell'anno 594.

Il borgo di Porto Venere fu assalito e devastato nel 643 da Rotari, re dei Longobardi nel corso della sua campagna di conquista della Liguria[1].

Anche dopo la fine del regno longobardo, nell'Impero carolingio Porto Venere mantenne la sua importanza come scalo portuale.

Nell’ottobre del 801 il diplomatico ebreo Isacco rientrato da Baghdad dove era stato ambasciatore di Carlo Magno presso il califfo Harun ar-Rashid, in viaggio verso la Francia, si fermò a Porto Venere dove fece sbarcare l'elefante Abu l-Abbas, dono del califfo a Carlo Magno.[4].

Come tanti altri borghi costieri liguri, tra i secoli VIII e XI dovette via via subire e difendersi dalle razzie di normanni e saraceni; nei secoli successivi dei turchi[1].

Dal X secolo Porto Venere fu possedimento feudale dei Signori di Vezzano[5] (vassalli dei Vescovi di Luni) che poi, verosimilmente nel 1139[5] lo cedettero, insieme alle isole prospicienti, alla Repubblica di Genova che intendeva farne un proprio caposaldo fortificato nell'estremo Levante ligure.

Come testimoniano alcuni documenti, già nel 1113[1] Genova, per arginare l'espansione di Pisa, aveva inviato una colonia di suoi cittadini[6] ed aveva edificato il quadrangolare castello sulla punta meridionale del promontorio dell'Arpaia[5], accanto al luogo della chiesa di San Pietro. Sempre nello stesso periodo genovese vennero costruiti la chiesa di San Lorenzo e il borgo nuovo (castrum novum[1])[7].

Sono del 1161[1] le mura guelfe che racchiudono entrambi i borghi, il vecchio e il nuovo, le tre torri, la porta di accesso. Infine, nel 1162, fu sancito formalmente il passaggio delle due chiese sotto la giurisdizione del vescovo di Genova confermando di fatto il completo dominio genovese sul borgo[1]. Porto Venere diventò così per Genova approdo fortificato e colonia di cittadini genovesi nel Levante ligure con il duplice compito di essere base della guerra di corsa contro le navi pisane e della penetrazione genovese in val di Vara e in Lunigiana[8]. La Repubblica di Genova infatti si serviva anche di corsari per combattere sia Pisa che il flagello di Saraceni e Turchi.
A Porto Venere nacquero o ebbero base numerosi corsari: Trapelicino, Amiceto da Fino, Stefanello da Portovenere, Simonino Cavalleri, Giovanni e Simone Barbavara, Giacomo e Baldassarre Bardella, Giuseppe Graffigna detto il Cardinalino, Jacopo Gattilusio. La pirateria fiorì nel golfo della Spezia, allora chiamato Golfo di Venere, considerato rifugio ideale per dedicarsi a questa attività. La domanda sempre più crescente di naviglio e di equipaggi diede origine a una fiorente cantieristica e ad una grande domanda di equipaggi coraggiosi da imbarcare in questa marineria commerciale e corsara. La presenza a Porto Venere del famoso mercante pratese Francesco Datini favorì lo smercio del bottino, piazzato altrove con buon guadagno per i corsari.

Le fortificazioni dell'oppidum di Porto Venere subirono numerosi assalti nel corso della secolare guerra tra Genova e Pisa dando prova d'invulnerabilità, come nel 1242 in occasione della battaglia del Tino, descritta dal poeta e notaio Ursone da Vernazza[9].

Nel 1245 giunse a Porto Venere la flotta genovese che da Civitavecchia portava in salvo papa Innocenzo IV in fuga dall'imperatore Federico II.

Nel 1251 con il sostegno di papa Innocenzo IV viene siglata la decennale pace di Porto Venere tra Genova e Venezia.

In una notte del gennaio del 1340 divampò un incendio improvviso che distrusse il castrum vetus nel piazzale di fronte alla chiesa di San Pietro.

Nel tardo XIV secolo le discordie interne nella Repubblica di Genova ne provocarono l'inevitabile declino e la fine dell'indipendenza: la base di Porto Venere venne in possesso di Carlo VI di Francia e poi del Regno d'Aragona, secolare nemico di Genova e dei suoi commerci.

Dal XIV secolo, col sorgere della Spezia a capoluogo, il borgo comincia a perdere importanza politica e commerciale; rimane però una delle principali fortezze della repubblica genovese, e sarà di nuovo poderosamente munita nei secoli XVI e XVII contro le incursioni turchesche.

Nel 1411 Porto Venere, Lerici e Sarzanello furono vendute a Firenze che succedette a Pisa nella secolare contesa per il confine orientale al Caprione e alla Magra[10].

La base venne poi addirittura ceduta a Filippo Maria Visconti nel 1435 da Alfonso d'Aragona, che nello stesso anno vi soggiornò per qualche tempo prima di salpare per Gaeta e rivendicare la sua successione al Regno di Napoli.

Poco tempo dopo, nel 1437, il doge Tomaso Fregoso recuperò definitivamente a Genova il possesso di Porto Venere.

Il re Ferdinando II, minacciato dalle pretese di conquista di Carlo VIII sul suo regno, aveva inviato, con un forte contingente navale di 35 galee e 14 navi, il fratello Federico allo scopo di occupare Porto Venere e sbarrare così il passo alle navi del re francese. Le forze aragonesi cannoneggiarono ripetutamente il borgo e poi tentarono lo sbarco. Alla difesa di Porto Venere parteciparono non solo la guarnigione di quattrocento armigeri comandata da Giacomo Balbi, ma anche le donne del borgo capitanate dal famoso corsaro portovenerese Jacopo Bardella, il quale consigliò loro di spalmare di sego gli scogli a fior d'acqua. E lo sbarco si risolse in una catastrofica serie di cadute degli invasori che dovettero fuggirsene con gravi perdite (Battaglia di Porto Venere, 17 luglio 1494).[1], con l’intervento di . Le due chiese del borgo riportarono gravi danni dalle artiglierie nemiche.
Dopo la vittoria nella battaglia fu deciso di demolire completamente le macerie del castrum vetus e di lasciarne libero lo spazio per garantirsi una più facile difesa dai possibili assalitori.

Al dominio di Genova si devono le successive fortificazioni nel territorio di Porto Venere: la batteria di San Francesco ed il forte di Sant'Ambrogio e, nei pressi della Palmaria, la fortezza di Torre Scola eretta nel 1606[1]. Nel 1628 il governo genovese fece costruire la Casetta della salute per alloggiarvi la funzione di controllo sanitario sulle navi in arrivo. Il piccolo edificio è stato demolito negli anni '60 del XX secolo.

Perduta la sua antica importanza militare, ancora ai primi del XVIII secolo il borgo manteneva la sua funzione di scalo marittimo, soprattutto per il commercio del vino della Palmaria e del marmo Portoro.

Nel 1744 vi giunge san Leonardo da Porto Maurizio, reduce da una missione di pacificatrice in Corsica.

Alla caduta della Repubblica di Genova, nella nuova Repubblica Ligure Porto Venere fece parte, dal 2 dicembre, del Dipartimento del Golfo di Venere, con La Spezia capoluogo. Dal 28 aprile 1798, con i nuovi ordinamenti francesi, il suo territorio rientrò nel VII cantone come capoluogo della Giurisdizione di Golfo di Venere e dal 1803 era il centro principale del III cantone del Golfo di Venere nella Giurisdizione del Golfo di Venere.

Quando poi la Liguria fu annessa all'Impero francese, dal 13 giugno 1805 al 1814, Porto Venere era inserita nel Dipartimento degli Appennini. È in questo periodo storico che, nel 1812[1], venne realizzata nel golfo la strada litoranea denominata Strada napoleonica per volere di Bonaparte (oggi strada provinciale 530) che collega il centro marinaro a La Spezia attraversando i paesi di Fezzano, Le Grazie e Terizzo.

Alla caduta di Napoleone, nel 1815 come tutta la Liguria Porto Venere entrò a far parte del Regno di Sardegna, nella provincia di Levante, e più tardi, con l'unificazione nazionale, del Regno d'Italia dal 1861. Dal 1859 al 1927 il territorio fu compreso nel I Mandamento di Spezia del Circondario di Levante che faceva parte della Provincia di Genova prima e, con la sua istituzione nel 1923, della Provincia della Spezia poi.

Apprezzata località di villeggiatura e meta di artisti e letterati di fine Ottocento e inizio Novecento (tra i suoi visitatori più celebri vi fu Lord Byron) Porto Venere è ancora oggi una meta turistica di punta del panorama spezzino e ligure.

Nel 1998 Porto Venere è stata dichiarata Patrimonio dell'umanità, bene tutelato dall'UNESCO - insieme ai Rolli di Genova e al suo centro storico (gli unici altri due beni inseriti per la Liguria) - e dal 2001 è sede dell'omonimo parco naturale regionale.

Lo stemma è stato concesso con il decreto del Capo di Governo del 19 aprile 1933.[11]

Le torri simboleggiano i tre nuclei principali del paese (Castello, Borgo Nuovo e San Pietro) corrispondenti ai tre insediamenti storici che hanno formato il centro abitato.[11]

Oltre allo stemma e al gonfalone comunale è la croce di San Giorgio ad essere un simbolo civico e storico della comunità di Porto Venere, vessillo riportato nello stemma comunale (sono dei colori di Genova le bandiere delle tre torri) che vuole sottolineare l'alleanza secolare del borgo con l'antica Repubblica di Genova. Tale "obbiettivo" è citato pure nello statuto comunale.[12]