Seit dem 13. Jahrhundert war das Dorf Prats-de-Molló durch das Flüsschen Tech in eine nördliche und südliche Hälfte geteilt. Im nördlichen Teil lag die Burg der Grafen von Bésalu.

Im Jahre 1307 wurde vom König von Aragon oberhalb des Dorfes in 1540 Meter Höhe ein Wach- und Signalturm, errichtet, der den Namen „Lagardia“ erhielt. Über diesen Turm wurden militärische Nachrichten weitergegeben, was des Nachts mit Feuer und tagsüber mit Rauchzeichen geschah. Es stand in Verbindung mit dem „Tour d'En Mir“ und dem „Tour de Cos“. Letzterer stand zwischen Le Tech und Montferrer.

Nach dem Pyrenäenfrieden 1659 musste das Vallespir, die Grafschaft Roussillon, und ein Teil der Cerdagne an Frankreich abgetreten werden. Prats-de-Mollo wurde Grenzort.

Oberhalb des befestigten Ortes wurde der „Tour de la Guardia“ in das Fort Lagarde umgebaut, um die neue Grenze und den Eingang zum oberen Villespir Tal zu überwachen. Es handelte sich dabei um einen Donjon, dabei wurde der ursprüngliche Wachturm um einen Anbau erweitert und das Ganze von einem sternförmigen Wall umgeben.

In den Jahren 1663 und 1672 revoltierten die Bewohner des Vallespir und Conflent unter Josep de la Trinxeria gegen die „Gabelle“ genannte Salzsteuer, die seit 1291 erhoben wurde. Es bedurft zweier Versuche königlicher Truppen, um die Ordnung wiederherzustellen. Während der Belagerung des Ortes im Jahre 1670 wurde das Château de Perella (oder |Périlloux), die ehemalige, mittelalterliche Burg der Grafen von Bésalu, mit Artillerie verstärkt und mit einer hundertköpfigen Besatzung belegt, auch um dessen Bewohner in Schach zu halten. Diese Anlage wurde zugunsten des heutigen Forts sechs Jahre später aufgegeben und abgebrochen.

Im Holländischen Krieg (1672–1678) wurde die Befestigung 1674 von den Spaniern eingenommen, konnte jedoch im folgenden Jahr durch eine Armee unter dem Grafen Friedrich von Schomberg zurückerobert werden.

Im Jahre 1677 wurde die Anlage dann umfangreich verstärkt. Verantwortlich dafür war Sébastien Le Prestre de Vauban, der Festungsbaumeister (Commissaire général des fortifications) des französischen Königs Ludwig XIV. Gleichzeitig wurden auch weiteren Befestigungen der Region (Fort de Bellegarde, das Château de Collioure, Mont-Louis und andere) ausgebaut. Die Befestigungspläne von Christian Rousselot de Monceaux und Vauban aus dem Jahre 1679 schlossen auch die Gemeinde Prats-de-Mollo-la-Preste mit ein. Unter der Aufsicht von Vauban wurde das Kernwerk im Jahre 1686 fertiggestellt.

Der Ingenieur Rousselot, verantwortlich für die Befestigungen in der Provinz Roussillon, erweiterte 1691 mit Genehmigung des Königs die Pläne Vauban's. Die Erweiterungsmaßnahmen wurden allerdings durch einen erneuten Krieg und mangelnde finanzielle Mittel unterbrochen. Die Bauarbeiten konnten in der ersten Hälfte des 18. Jahrhunderts fortgesetzt werden und waren erst in der zweiten Hälfte des 19. Jahrhunderts abgeschlossen.

Nachdem der französische Nationalkonvent am 7. März 1793 an Spanien den Krieg erklärt hatte, rückte eine spanische Armee ab dem 17. April 1793 über die Grenze nach Norden vor, um die Einwohner der Region und die dort weilenden Flüchtlinge zu schützen. General Ricardos zog durch die Region Vallespir und besetzte am 23. Mai 1793 das Dorf Prats de Mollo. Am 5. Juni wurde das Fort Lagarde zur Übergabe gezwungen und besetzt. Danach zogen die Spanier im Tal weiter und nahmen Bellegarde am 25. Juni ein. 1794 wurden beide Festungen durch die Truppen von Général (dt.: General) Jacques François Dugommier zurückerobert.

1926 wurde das Bauwerk als militärische Liegenschaft aufgegeben. 1976 erwarb die Gemeinde das Fort und lässt seither Restaurierungsarbeiten durchführen.