I Romani già conoscevano questo borgo che deve il suo nome alla presenza di un tempio dedicato alla dea della bellezza. La peculiarità delle case che si affacciano sul porto è la loro forma alta e stretta, le facciate sono dipinte con colori molto forti (perlopiù rosso e giallo); quasi tutte sono di tipo romanico anche se, verso l’estremità occidentale del paese, ve ne sono di più antiche, con arcate a sesto acuto, di tipo toscano.
Le abitazioni sono generalmente dotate di due ingressi, uno verso la spiaggia, per le barche, e uno che dà sulla strada, il carruggio che corre parallelo alla costa, ma ad una quota più alta. La loro struttura tipica presenta tre locali per ogni piano di cui, quello centrale, privo di finestre. Le costruzioni sono addossate le une alle altre anche per ragioni difensive. All’interno del borgo non esistono strade trasversali, solo alcuni sottoportici denominati “capitoli”, che, con ripide scalette, collegano la strada al porto o alla spiaggia. Proprio sull’estrema punta occidentale del paese è posta la Chiesa di S. Pietro; si tratta di una costruzione romanico-gotica di tipo ligure edificata sui resti dell’antico tempio di Venere. Da qui si può godere uno splendido panorama, dalla loggetta romanica si può osservare il primo tratto di costa verso le Cinque Terre, mentre dall’ingresso si dominano il golfo e l’isola di fronte.
Altra parte davvero suggestiva di questo antico borgo è la “Grotta di Byron”, incavata nell’aspra roccia del litorale che conduce alle Cinque Terre, è dedicata al poeta inglese Byron (XIX secolo); fu questo un luogo di ispirazione per le sue opere letterarie anche se, in realtà, lui non lo visitò mai. Il nome originale della grotta era “Grotta dell’Arpaia”. La più importante festa che si svolge a Portovenere è quella della “Madonna Bianca”, il 17 Agosto. La pergamena del trecento che raffigura la Madonna col Bambino fra S.Antonio Abate e S.Cristoforò arrivò a Portovenere, secondo la tradizione, nel 1204 insieme ad altre reliquie sacre traspo.