Les primeres mencions del lloc daten del segle IX, amb la torre construïda després de les invasions àrabs i l'ocupació de la Septimània, del 719 al 759.

A partir del segle XII va prendre el nom de Torre de la Guàrdia, i va ser modificada i millorada moltes vegades, pels reis de Mallorca, així com per Pere el Cerimoniós, rei d'Aragó, durant la reintegració del Regne de Mallorca a la Corona d'Aragó.

Formava part d'una xarxa de dispositius de vigilància amb laTorre de la Maçana i la Torre de Madaloc, que es poden retrobar a tota la costa dels Països Catalans. Tenia una posició estratègica per la defensa de la Marenda, especialment de la vila de Cotlliure i del seu port, que era l'únic de tot el comtat del Rosselló.

Aquestes torres comunicaven amb senyals de fum per advertir els habitants de l'arribada possible de l'enemic. La fusta seca servia per encendre focs a la nit per alertar les guarnicions del comtat; i el dia, la fusta verda servia per alliberar grans quantitats de fum, comunicant així amb les altres torres i places fortes de la regió.

A la segona meitat del segle xv, els francesos van controlar per primer cop el Rosselló entre 1462 i 1493, aprofitant la Guerra Civil catalana, i van fer canvis a la fortificació, amb una part de les muralles que daten d'aquesta època.

Al segle xvi, el Rosselló era una part important de la Monarquia Hispànica. Perpinyà és un dels centres industrials, culturals i comercials més importants amb un vincle particular amb Itàlia i la seva riquesa.

El progrés de l'artilleria moderna va canviar profundament l'art de la guerra i les tècniques de setge. És per això que l'emperador Carles V va realitzar uns treballs entre 1538 i 1552 per transformar l'exterior de la fortalesa, donant-li un aspecte en forma d'estrella amb sis angles punxants i murs en pendent. Malgrat totes aquestes modificacions, el castell va ser pres per les tropes franceses per segona vegada, el 13 d'abril de 1642, durant la Guerra dels Segadors.

Amb el Tractat dels Pirineus i l'annexió dels Comtats de Rosselló i Cerdanya pel regne de França, el castell va ser canviat i modernitzat nombroses vegades per Vauban i va conservar el seu paper de vigilància, però aquesta vegada la de la nova frontera.

Durant la Revolució Francesa, precisament durant la Guerra del Rosselló, la regió va ser escenari de sagnants combats entre els exèrcits revolucionaris i l'exèrcit espanyol. El maig de 1793 la ciutat va ser assetjada per les tropes espanyoles que van capturar el castell després de la traïció del seu comandant, el cap de batalló Dufour, que va refusar l'accés a les tropes franceses i es va rendir.

Quatre mesos després de la rendició, les tropes franceses van envoltar les forces espanyoles el 3 de maig de 1794, i van aixafar el castell sota onze mil projectils, obligant els seus defensors a rendir-se.

El 1903, el castell va ser desmilitaritzat i abandonat fins a la seva compra i la seva primera renovació el 1936. Però poc després, la Segona Guerra Mundial va esclatar i França va ser ocupada per les tropes alemanyes, i el castell va servir de 1942 a 1944 a la Kriegsmarine, la marina alemanya, com a observatori del litoral rossellonès.

Alguns edificis del castell seran dinamitats en el moment de la sortida dels alemanys al final de la guerra, i continuaran sent destruïts fins al 2004, durant els grans treballs de restauració.

Així, des de 2008, el castell és un museu privat que ofereix col·leccions d'armes medievals i contemporànies.