Il toponimo deriva da Cap de Roques. Fu un antico castello dei Franchi, nel 907 il primo conte indipendente della comarca Godofredo diede il paese in dono al Monastero di Sant Pere de Rodes. Date le difficili comunicazioni via terra sviluppò molto la marina. Subì diversi attacchi dai pirati che infestarono il Mediterraneo e nel 1543 il famoso pirata Barbarossa distrusse il castello. Di questo pirata esiste una leggenda marinara secondo la quale si sarebbe proposto l'obiettivo di uccidere mille persone e teneva una regolare contabilità per esserne certo.

Avvenne un giorno che capitò in una chiesa catalana dove un prete stava celebrando messa ed era al momento della consacrazione del pane e del vino. Barbarossa uccise il sacerdote e buttò in mare il calice e l'ostia, poi s'imbarcò sulla sua nave, ma qui lo colpì la maledizione di San Pietro e il vascello non obbedì più ai suoi comandi, diventando uno dei vascelli fantasma che vagano nel mare senza meta. Cadaqués è stato dichiarato ufficialmente nel 1972 "Paese Pittoresco".