La regione del Quercy è abitata da circa 40 000 anni, come testimoniato da numerosi ritrovamenti archeologici nelle grotte della valle del Célé. La zona fu in seguito occupata dalla popolazione gallica dei Cadurci ed uno dei loro centri abitati fu chiamato dai Romani, sopraggiunti al seguito di Cesare, con gli appellativi di Divona Cadurcorum o Civitas Cadurcorum, nome che si contrarrà in Cadurcum e poi nel moderno Cahors.

La città gallo-romana fu fiorente, rifornita da un acquedotto, munita di un teatro in grado di ospitare circa 6000 spettatori, numerosi templi (le rovine di uno dei quali si trovano sotto al moderno ospedale), un anfiteatro, delle terme e numerose ville private. È documentata l'esportazione di stoffe e vini sin dal I secolo d.C.

Durante il periodo altomedioevale la città fu saccheggiata più volte: nel 571 da Teodoberto I d'Austrasia, dai Saraceni nel 732, poi dai Vichinghi e, all'inizio del secolo X, dagli Ungari. I numerosi saccheggi portarono alla completa distruzione della città gallo-romana, della quale oggi non restano che rovine, scoperte in seguito a vari lavori effettuati nel secolo XX (parcheggi, ospedali..). La prima chiesa cattedrale di Cahors venne consacrata nel 650.

Nel periodo della cattività avignonese, Cahors fu investita di alcuni benefici da parte di papa Giovanni XXII, nativo della città. Nel 1331 vi fu istituita l'Università di Cahors, fusasi nel 1751 con quella di Tolosa.

Nel 1838 nacque a Cahors Léon Gambetta, futuro presidente del consiglio dei ministri e fra le maggiori personalità politiche della Terza Repubblica.

Dalla seconda guerra mondiale in poi, Cahors è stata amministrata prevalentemente (ma non esclusivamente) da giunte di sinistra; in particolare dal 1965 al 1989 da quella di Maurice Faure, già segretario di stato agli affari esteri e cofirmatario per conto della Francia (assieme a Christian Pineau) del Trattato di Roma del 1957.