El 1030 es documenta, entre altres, el port de Cadaqués. Més endavant, apareix documentat sovint el castell i la vila de Cadaqués i, el 1279, l'església. Inicialment fou un condomini del monestir de Sant Pere de Rodes i del comtat d'Empúries. Els seus habitants, pescadors, gaudien del privilegi dels comtes d'Empúries de formar host o cavalcada només per accions originades al mar o des del mar. Fins al 1403, el seu consell o universitat era l'aplec de tots els veïns a la plaça o a l'església; a partir d'aquesta data, el rei Martí l'Humà ordenà que la vila es regís per dotze prohoms elegits lliurement.[1]

Al segle xv, a la guerra contra Joan II la vila fou lliurada a les tropes reials i després recuperada per la Generalitat. Durant els segles xiv i xv, i especialment durant el segle xvi, Cadaqués sofrí repetides vegades l'atac dels corsaris (el 1444, l'arxiu de la vila fou cremat i, el 1543, l'església i tota la vila);[2] per protegir-se de la pirateria, es construïren torres de defensa. El 1655, al final de la Guerra dels Segadors, Cadaqués es rendí als francesos.[1]

Entre els segles xiii al XVI el nucli de Cadaqués es formà dins el recinte de l'antic castell. D'aquest recinte primitiu es conserva un dels portals d'entrada, conegut com es Portal que condueix a través del carrer del Call a dalt turó, on es troba l'església de Santa Maria. També queda en peu la Torre de sa fusta d'es Baluard, on es troba l'actual casa de la Vila. De la mateixa manera, molts dels murs actuals de les cases de la Punta d'es Baluard estan formats per les restes d'aquesta antiga muralla.[3]

A partir del segle xvii, es produeix un altre període marcat pels primers assentaments fora muralles, resseguint les línies de la costa. El 1683 es basteix la riba de Port Alguer i els porxos sortints de les dues primeres cases construïdes damunt d'ella, per així donar servei al port. D'aquest manera Port-Doguer es va convertir en el primer raval format a l'exterior de la muralla del Castell. Després de 1714, juntament amb la fi de les guerres, i passat el perill constant dels corsaris i pirates, les cases fora muralles es comencen a reproduir més ràpidament. Després de la liberalització del comerç amb Amèrica, gràcies al tractat del 1778, es produeix un cert renaixement de Cadaqués. En aquest moment, el tipus constructiu tradicional és marcat per la puresa i simplicitat dels porxos amb voltes i dels massissos murs emblanquinats.[3]

L'últim moment destacat de l'evolució urbanística de Cadaqués es desenvolupa a les darreries del mil·lenni, durant els segles XIX i XX. És en aquest moment quan es comença a bastir sobre les ribes tot tipus d'edificacions, no solament les relacionades amb els serveis del port. Aquest auge ve donat pel creixement demogràfic que patia la zona, arribant al seu màxim exponent en el decenni del 1860, gràcies a l'explotació del conreu de la vinya i l'exportació de la garnatxa, la qual es suma a l'activitat pesquera. Posteriorment, l'any 1880 ve marcat per la fil·loxera i la davallada demogràfica que indirectament provocà. Aquesta tendència no es va canviar fins a l'arribada del turisme als anys seixanta.[3]

Gràcies a l'obertura de la carretera a començaments de segle, es trencà l'aïllament del poble i provocà transformacions, tant a l'interior de la vila com a les ribes, on es continuà construint. Finalment a la dècada dels seixanta, coincidint amb el boom del turisme, comportà que molts integrants de la burgesia catalana, així com estrangers atrets per l'encant d'un país en vies de desenvolupament, hi assentessin les seves segones residències. Dintre d'aquest grup també es congregà un grup d'intel·lectuals que volien conservar trets del folklore i l'arquitectura tradicional, sense renunciar a la modernitat arquitectònica, fent-ho totalment compatible.[3]