Het graafschap Ségur ontstond in de 9e eeuw tijdens de feodale versnippering van de Limousin. Aan het eind van de 10e eeuw trouwde Emma, enig erfgename van het graafschap Ségur met Guy I van Limoges. Aldus werd de stad Ségur met de omliggende landerijen gedurende zes eeuwen bestuurd door de burggraven van Limoges. Het kasteelterrein echter was bezit van de kanunniken van Saint-Yrieix-la-Perche en de burggraven moesten hun rechten respecteren. Ségur was nooit de hoofdstad van het graafschap maar de graven verbleven er regelmatig, waarvan de ontelbare verbouwingen in het kasteel getuigen. Wel stalden de graven er een aantal ridders met hun families evenals een aantal ambtenaren die belast waren met rechtspraak. De stad was de zetel van een kapelaan die, in een omtrek van 15 kilometer, een tiental parochies bestuurde. Toch kreeg Ségur pas een ‘echte’ pastoor in 1749.

Tijdens de Honderdjarige Oorlog werd het fort van Ségur ingenomen door de koning van Frankrijk en werd het een koninklijke burcht, bestuurd door officieren waarover de burggraven geen enkele zeggenschap hadden. Ondertussen was het graafschap van Limoges sinds het einde van de 13e eeuw overgegaan naar de heren van Bretagne en Blois die zich nauwelijks om Ségur bekommerden. In de eerste helft van de 15e eeuw, kreeg burggraaf Jean de Blois, bijgenaamd ‘de adelaar’, kapitein in dienst van de Franse koning het voor elkaar om behalve burggraaf van Limoges ook graaf van Périgord te worden en hij besloot om van Ségur de centrale zetel te maken voor zijn Hof van Appèl. Dit Hof was de laatste stap in beroepszaken voor deze naar het Parlement in Parijs gingen. De instelling van dit bijzondere Hof heeft de oorspronkelijk landelijke gemeente ontegenzeggelijk dynamiek gebracht, zowel demografisch als economisch. Het kwam erop neer dat alle hoger beroepen tegen uitspraken van een van de 150 rechtbanken in de graafschappen van Limoges en Périgueux voor het Hof van Appel in Ségur werden uitgevochten, voordat ze eventueel naar het Koninklijk Parlement werden doorgestuurd. Dit verklaart de enorme hausse aan nieuwbouw en verbouw van zeer mooie huizen in de 15e en 16e eeuw. Ondertussen, om precies te zijn in 1468, was het graafschap Limoges door huwelijk overgegaan in handen van de familie Albret, in de persoon van Alain d’Albret, betovergrootvader van de latere Franse koning Henry IV.

In de loop van de 16e eeuw verkochten de burggraven Ségur aan Pérusse, een familie die in de voorgaande eeuw reeds vele huizen en hotels had aangeschaft voordat ze ten slotte ook het kasteel overnamen. De familie Pérusse bleven heren van Ségur tot het midden van de 17e eeuw toen al hun bezittingen overgingen naar de familie van Hautefort. Het graafschap Limoges werd echter verbonden aan de Kroon na de troonsbestijging van Henry IV van Frankrijk in 1607. Vanaf toen vervaagden de uitstraling en de dynamiek van Ségur aanzienlijk. In 1750 werd het Hof van Appèl bij Koninklijk Besluit gesloten, waarna de rijke families Ségur een voor een verlieten en economische teruggang een feit werd. In 1795 werd het kasteel van de familie Hautefort gekocht door een oude boer, Gabriel Dumas-Lavareille, wiens familie burgemeesters leverde voor Ségur.

In 1919 heette Ségur even Ségur-les-Goujons, voor het in 1924 definitief Ségur-le-Château ging heten.