La família senyorial de Tèrme és citada per primera vegada en textos escrits l'any 1061. Aquest llinatge dirigia una de les circumscripcions territorials més antigues de l'època feudal. El 1110 els senyors de Tèrme rendien homenatge al vescomte Trencavell de Carcassona i estaven en constant conflicte amb els abats de l'Abadia de Lagrassa per la possessió i titularitat d'unes mines.

Un document cursat entre Ramon de Tèrme i el seu germà Guillem, el 1163, aporta detalls sobre l'aspecte del castell en el segle xii. La torre de l'homenatge, en el centre i zona més alta del penyal estava dividida entre els dos germans. El document també esmenta l'existència d'una petita església dins del recinte emmurallat, que presumptament ha de ser l'església actual també en ruïnes.

En proclamar-se la croada albigesa, el castell de Tèrme va patir constants atacs per part dels croats, per la seva posició estratègica i per la forta implantació del catarisme entre els seus ocupants.

El setge de Tèrme, el 1210, que va imposar Simó de Montfort al castell i els dos burgs que es trobaven en les proximitats, els seus ocupants i al seu senyor, Raimon de Tèrme, acusat d'heretge, va esdevenir un cas particular dins de la croada contra fortaleses occitanes, en posseir catapultes tant setge-dors com assetjats.

Després de quatre mesos de continus d'assalts, la falta d'aigua i menjar van ser els que van obligar a rendir-se als senyors de Tèrme. Ramon de Tèrme va ser fet presoner i empresonat a la ciutat històrica fortificada de Carcassona.

En 1224, Olivier de Tèrme, fill de Raimon, va prendre de nou el castell fins que, a conseqüència del Tractat de Meaux, passar a ser de domini reial francès. El 1240 Olivier el torna a ocupar, coincidint amb l'ofensiva del vescomte Ramón Trencavell II per recuperar Carcassona, i va continuar oferint resistència contra els croats fins que, l'any 1246, va ser vençut i enviat a les croades a l'orient per ordre del rei francès Lluís IX.

Integrat ja en els anomenats "Cinc fills de Carcassona", a la frontera defensiva entre els dominis conquistats pel rei francès i els territoris de la Corona d'Aragó, va ser ocupat per guarnicions reals durant més de quatre segles i posteriorment abandonat. En ser ocupat per bandits que assolaven la regió, el rei de França va ordenar dinamitar-lo a mitjans del segle xvii (any 1653), quedant en ruïnes i derruït.

En el segle xx els vestigis van passar a ser propietat comunal de Tèrme i van ser declarades Monument històric de França el 1989.