La prima menzione documentata di Lagarde è del X secolo. Il primo castello era una torre quadrata con, nell'angolo, una torre circolare di copertura, costruita nell'XI secolo. Nel XII secolo furono aggiunte quattro torri quadrate e un corpo di guardia rettangolare, l'intero castello essendo collegato da mura con feritoie e merlature. Nel XIV secolo la struttura subì importanti rimaneggiamenti. Dietro ogni facciata furono eretti edifici, furono rialzati i tetti, fu costruito un ponte levatoio e furono modificati il cancello d'ingresso e le aperture degli edifici. Nel XVI secolo fu costruita una grande scala a chiocciola pensile (1526) con una fiammeggiante volta gotica. Anche in questo periodo il castello fu raddoppiato con l'aggiunta di mura e volte, fu realizzato un nuovo fossato con quattro bastioni circolari agli angoli e fu bastionato anche l'ingresso del ponte levatoio. Le modifiche del XVII secolo includevano l'aggiunta di statue monumentali sui bastioni e la torre della scala, la creazione di una spianata circondata da fortificazioni a sud-est, la sostituzione del ponte levatoio con un ponte in pietra con un portale monumentale e una rampa di accesso che conduceva da il villaggio.