Die erste Burg an dieser Stelle wurde bereits im 11. Jahrhundert von Sancho Ramirez I., König von Aragon und gleichzeitig als Sancho V. König von Navarra, errichtet. Während des Albigenserkreuzzugs (1209–1229) wurde die Burg im Jahre 1211 eingenommen und zusammen mit der Herrschaft über Mirepoix von Simon de Montfort an seinen Kampfgefährten Guy de Lévis übergeben. Die Burg blieb bis zum Vorabend der Französischen Revolution in den Händen der Familie Lévis.

Zu Beginn des 14. Jahrhunderts begann François de Lévis mit Abriss- und Umbaumaßnahmen. Im ausgehenden 15. und beginnenden 16. Jahrhundert erlebte die Burg Lagarde tiefgreifende Veränderungen: Unter Jean de Lévis, der nacheinander Ratgeber der Könige Karl VIII., Ludwig XII. und Franz I. war, wurde sie von einer mittelalterlichen Befestigung zu einem Renaissanceschloss umgestaltet.

In den Jahren der Französischen Revolution kam das Schloss in den Besitz des Staates und wurde als Steinbruch verkauft. Einige Gebäude wurden als Waffenlager, Pferdeställe oder Salpeterfabrik genutzt. 1805 fiel der Besitz zurück an die Familie Lévis, der das Anwesen mit Unterbrechungen bis zum Jahr 1986 gehörte. 1987 wurde der Komplex an zwei Damen aus Toulouse verkauft. Seit 1990 kümmern sich mehrere Vereine um den Erhalt des Schlosses. 2006 wurden Teile der Gärten nach alten Vorbildern neu angelegt und das Gelände gegen Eintrittsgeld der Öffentlichkeit zugänglich gemacht.