До прихода римлян Кагор был племенным центром кельтского племени кадурков, от которого и происходит его название. Римляне превратили его в крупный центр текстильного производства. О благоденствии первых веков нашей эры напоминают руины амфитеатра и других построек.

До присоединения к королевскому домену в 1316 году Кагор находился в совместном ведении графов Керси (вассалов графа Тулузского) и местного епископа, который чеканил здесь монету. Богатые ломбардские банкиры сделали средневековый Кагор столицей французских ростовщиков (отсюда обозначение ростовщика во французском языке — cahorsin).

В 1331 г. римский папа Иоанн XXII, будучи уроженцем Кагора, основал здесь университет, просуществовавший до 1751 года. Здесь преподавал Жак Кюжа и учился Франсуа де Салиньяк Фенелон.

В XVI веке Кагор в качестве главного города области Керси принадлежал виконтам Беарна. Во время религиозных войн город держал сторону католиков и в 1580 г. оказал решительный отпор своему сюзерену Генриху Наваррскому, за что тот лишил горожан торговых привилегий. С этим связан экономический упадок города при Бурбонах.