L'histoire du fort Saint-Elme remonte à l'édification de sa tour de garde au IXe siècle pour lutter contre les razzias maures, c'est-à-dire juste quelques décennies après la période où des troupes arabo-berbères musulmanes occupèrent de 719 à 759 la Septimanie.

Intégrée sous les Carolingiens à la marche d'Espagne, la tour appartient aux comtes du Roussillon indépendants jusqu'à la mort sans héritiers de Girard II de Roussillon en 1172 qui lègue son comté à Alphonse II, roi d'Aragon et comte de Barcelone. C'est de cette époque aragonaise que la tour tire son surnom de "Torre de la guardia" (Tour de Garde).

Entre 1276 et 1344, les rois de Majorque, dont la résidence d'été est le château de Collioure, font reconstruire cette tour sur ce point de surveillance idéal. Elle s'inscrit dans un système de communication efficace avec la tour de la Massane et la tour Madeloc, toutes deux fondées par Jacques II de Majorque (1276-1311) sur les hauteurs de Collioure. Elles communiquent par des signaux de fumée pour avertir les populations environnantes de l'arrivée éventuelle d'un ennemi. Du bois sec permet d'allumer des feux la nuit pour alerter les garnisons jusqu'à Perpignan ; du bois vert est utilisé le jour pour dégager un vaste panache de fumée et communiquer ainsi avec les autres tours et places fortes de la région.

Mais c'est l'ennemi du royaume de Majorque, le roi d'Aragon, Pierre IV d'Aragon le Cérémonieux ou le Cruel, qui, une fois la côte conquise en 1344, fait réaliser d'importants travaux pour améliorer la défense du point haut.

Dans la seconde partie du XVe siècle, les Français contrôlent le Roussillon. En 1462, le roi de France Louis XI profite de la guerre civile catalane (1462-1472) pour signer le traité de Bayonne et ainsi contrôler les comtés de Roussillon et de Cerdagne. C'est de cette période que le fort prend le nom de Saint-Elme. Une partie des remparts date de cette époque. Le successeur de Louis XI, Charles VIII, qui veut bénéficier de la neutralité de l'Espagne pour satisfaire ses ambitions sur le royaume de Naples, signe avec Ferdinand II le Catholique le traité de Barcelone en 1493. Ce dernier récupère ainsi les territoires perdus.

Au XVIe siècle, le Roussillon est une pièce essentielle du royaume d'Espagne. La région a la forme d'un triangle délimité par le massif des Corbières au nord, le massif des Albères au sud et la Méditerranée à l'est. Perpignan est un centre industriel, culturel et commercial des plus importants et a des liens privilégiés avec l'Italie et ses richesses. Perpignan était défendu au nord par la forteresse de Salses et au sud par le fort Saint-Elme. Ce château protège également les ports de Collioure et Port-Vendres qui assurent à la capitale régionale du Roussillon provisions et renforts de troupes.

 

Le fort Saint-Elme vu depuis Collioure.

Le progrès de l'artillerie moderne change en profondeur l'art de la guerre et les techniques de siège. Architectes et artilleurs se convertissent en nouveaux maitres de guerre et conseillers des souverains. En 1537, l'architecte italien Benedetto de Ravenne attire l'attention de l'empereur sur les faiblesses de la position de Collioure. Après avoir réalisé une inspection, Benedetto obtient l'accord de Charles Quint : il fait exécuter des travaux de 1538 à 1552 et transforme la physionomie du fort qui prend son aspect en étoile à six redents à parois inclinées.

Malgré la modernisation de la place (fort Saint-Elme et fort Sainte-Thérèse, lui aussi bâti en étoile) et l'adaptation à l'artillerie et aux armes à feu, le 13 avril 1642, les troupes françaises du roi Louis XIII parviennent à prendre Collioure. Après la signature du traité des Pyrénées en 1659, la menace du voisin espagnol reste d'actualité. Quand Vauban, maître dans la poliorcétique, fait une reconnaissance des structures défensives en 1659 dans la région de Collioure, il décide de construire pour le fort Saint-Elme une contrescarpe, formant avec la base de la muraille un fossé d'une dizaine de mètres, où l'infanterie et les canons peuvent facilement être manœuvrés[pas clair].

En 1701, Cassini II utilise le sommet de la tour du fort comme repère géodésique. Il s'y serait rendu à plusieurs reprises dont le 27 février.

Vers 1780 la façade du fort est blanchie afin de servir de repère depuis le large, avec la tour de la Massane, pour aider à mieux situer le port de Port-Vendres[1].

Pendant la Révolution française, plus précisément pendant la guerre du Roussillon, la région est le théâtre de combats sanglants. L’exécution de Louis XVI entraîne en avril 1793 l’intervention des troupes espagnoles. Le 23 mai, Argelès tombe, coupant Collioure du reste de la République. La ville assiégée résiste six mois. Le 20 décembre 1793[2], l’armée espagnole sous le commandement du général Antonio Ricardos attaque Port-Vendres. Dès le début de l’engagement, les troupes républicaines sont écrasées par un ennemi supérieur en nombre. Elles battent en retraite, dans le plus grand désordre et cherchent refuge dans le fort Saint-Elme, mais par trahison de son commandant, le chef de bataillon Dufour, le fort garde ses portes closes, refusant l'accès aux troupes françaises, puis il se rend aux Espagnols. Cette action entraîne la reddition du général Delattre, le chef des troupes de la République à Collioure.

L’année suivante, le général Jacques François Coquille dit Dugommier est nommé commandant en chef de l’armée des Pyrénées orientales. C’est un homme d’expérience. Il arrive de Toulon qu’il vient de reprendre aux Anglais, ayant eu l’intelligence de suivre les conseils d’un jeune chef de bataillon, commandant en second de l’artillerie, du nom de Napoléon Bonaparte...(« Il était bon, quoique vif, très actif, juste, avait le coup d’œil militaire, du sang froid et de l’opiniâtreté. » Bonaparte.)[3]

Quatre mois après la reddition de Delattre, les troupes républicaines de Dugommier encerclent les forces espagnoles le 3 mai 1794. Après une brillante manœuvre d’approche, l’artillerie débarquée le 16 mai à Paulilles, écrase le fort Saint-Elme sous onze mille boulets, obligeant ses défenseurs à évacuer le 25 mai après vingt-deux jours de siège.

Ensuite, le fort, érigé en commune, prend le nom de Fort-du-Rocher[4] pendant le temps de la Révolution.

Après la période révolutionnaire, le fort, réuni à la commune de Collioure, est transformé en magasin militaire.

Le fort Saint-Elme est démilitarisé en 1903 et laissé à l'abandon. La tour s'effondre, le pas de tir est partiellement impraticable et de nombreux murs menacent de s'effondrer. Le 21 août 1913, l’État décide de le vendre aux enchères. Plusieurs propriétaires s'y succèdent mais aucune restauration n'est entreprise.

Le fort est inscrit au titre des monuments historiques par arrêté du 2 avril 1927[5]. Un nouveau propriétaire décide alors de le restaurer : les travaux ne se terminent qu'en 1936.

Pendant la Seconde Guerre mondiale, il est occupé par la Kriegsmarine, la marine allemande, de 1942 à 1944, et sert d'observatoire des mouvements de navires le long de la côte du Roussillon. Certains bâtiments du fort sont dynamités au départ des Allemands. Il est à nouveau réparé en 1950 mais les grands travaux de restauration ne débutent qu'en 2004.

 

Le fort Saint-Elme avec ses pans inclinés.

À compter de 2008, le fort fait office de musée privé, ouvert au public.