Začiatky tohto toskánskeho mestečka siahajú do 4. storočia pred Kr., kedy bola na mieste dnešného San Gimignana založená etruská osada pomenovaná Velathri podľa bohyne lesov. Za čias antického Ríma bolo známe ako Silvia. Svoje dnešné meno získalo až neskôr podľa svätého Geminiana, biskupa modenského, ktorý za ostrogótských vojen (6. storočie) zachránil mesto pred pustošením barbarským kráľom Totilom.

Ešte v 11. storočí bolo San Gimignano len malá dedinka so štyrmi domami, ale už o sto rokov neskôr sa z neho stala (1199) mestská komuna.

Mesto získalo svoje bohatstvo vďaka výhodnej polohe (nachádzalo sa na Via Francigena, obchodnej spojnici medzi Talianskom a Francúzskom), pestovaniu šafranu a tiež vinnej révy – odrody Vernaccia. Jednotlivé šľachtické rody stavali nielen honosné paláce, ale aj obranné veže – v 14. storočí ich tu stálo vyše sedemdesiat. Do dnešných čias sa zachovalo pätnásť. V tejto dobe tiež vznikla väčšina umeleckých diel nachádzajúcich sa v meste.

14. storočie bolo aj v znamení krvavých stretov medzi guelfmi z rodiny Ardinghelli (na strane pápeža) a ghibellinskými (procisárskymi) Salvuccii. Po takmer sto rokoch bojov požiadalo mesto o pomoc Florenciu. Florenťania prišli, nastolili poriadok, ale už neodišli. Sangimignanskí mešťania znášali nadvládu Florencie ťažko. Najviac ich postihli obchodné reštrikcie, ktoré zruinovali export. Aby zlomili akýkoľvek odpor, postavili Florenťania pevnosť Rocca

Mesto postupne upadalo, vďaka čomu sa paradoxne zachovalo v nezmenenej gotickej podobe, bez neskorších prístavieb. V 20. storočí sa stalo vyhľadávaným turistickým cieľom.