Vybudovanie podobnej pevnosti bolo zvažované už od dokončeného arzenálu v roku 1666, ale Vauban túto myšlienku kráľovi Ľudovítovi XIV. vyhovoril slovami: „Sir, bolo by ľahšie chytiť do zubov Mesiac než sa usilovať o stavbu v takejto lokalite.“

So stavbou pevnosti začali až v roku 1801, za vlády Napoleona, na ochranu pobrežia (a obzvlášť arzenálu v Rocheforte) pred možnou inváziou cudzích (najmä britských) námorných síl. V tom čase delá nemali veľký dostrel a vzdialenosť medzi ostrovmi Aix a Oléron bola príliš veľká, aby blokovali prejazd.

Nasledujúce ťažkosti pri stavaní základov (kamenné bloky museli byť inštalované na piesočnaté morské dno pri odlive, kde by mohli ešte klesnúť ku dnu vlastnou hmotnosťou) spôsobili prerušenie stavby v roku 1809. Výstavba pokračovala v roku 1837, za vlády Ľudovíta Filipa I., po obnovení napätia v Spojenom kráľovstve. Opevnenie bolo dokončené v roku 1857, s dostatočným počtom miest pre 250 mužov.

V čase dokončenia stavby pevnosti sa však dostrel diel výrazne zväčšil, takže pevnosť sa stavala zbytočne. O niekoľko rokov neskôr sa Fort Boyard krátko využívala ako väznica. Časom pevnosť chátrala a zaborila sa do mora, pretože nebola udržiavaná.