Rechtlich gehörte Termes zum Herrschaftsbereich der Vizegrafen von Carcassonne, faktisch waren die Seigneurs de Termes jedoch weitgehend unabhängig. Aus Quellen des 11. und 12. Jahrhunderts ist zu entnehmen, dass etwa 60 Dörfer, davon 28 befestigt, zum Einflussbereich der Burgherren von Termes gehörten. In den Corbières wurde im Mittelalter Erz abgebaut, ein Teil der Einnahmen floss an die Seigneurs de Termes.

 Rekonstruktionszeichnung der Katharerburg mit vorgelagerten castra

Die Burg Termes wird bereits in der Mitte des 12. Jahrhunderts erwähnt. Gegen Ende des Jahrhunderts bot sie den vielen Katharern Schutz, die sich einem befestigten Dorf (bourg oder castrum) zu ihren Füßen angesiedelt hatten. Im Jahr 1210 wurde die Anlage daraufhin im Verlauf des Albigenserkreuzzugs (1209–1229) als eine der Katharerburgen belagert, wobei beide Seiten über Katapulte verfügten. Nach knapp viermonatiger Belagerungszeit – die Wasserzisternen waren leer und die Verteidiger an der Ruhr erkrankt – fiel die Burg im Dezember 1210 an die Kreuzritter unter Simon de Montfort. Raimond de Termes, der Vater von Olivier de Termes, wurde gefangen genommen und starb kurz darauf im Kerker von Carcassonne.

Im Jahre 1228 wurde in der weitgehend zerstörten Burg eine königliche Garnison einquartiert, die einerseits ein Wiederaufflammen der Katharerbewegung verhindern sollte, andererseits aber auch eine strategisch wichtige Position im Kampf gegen die Expansionsbestrebungen der Krone von Aragon innehatte. Ludwig IX. ließ die Burg ab etwa 1260 neu erbauen und erweckte sie somit zu neuem Leben.

Bereits sieben Jahre vor dem Pyrenäenfrieden 1659 ordnete König Ludwig XIV. die Zerstörung der Burg an, die zu einem Stützpunkt für Räuber und Wegelagerer geworden war. Die Spreng- und Abrissarbeiten wurden einem Unternehmer aus Limoux übertragen, der die noch brauchbaren Steine abtransportieren ließ und verkaufte. Bereits 1654 waren die Arbeiten weitgehend abgeschlossen, die Kosten für die Staatskasse betrugen 14.922 Livres und 10 Sou.