La costruzione del forte fu iniziata tra il 1661 ed il 1667, sotto il regno di Luigi XIV, il quale volle fortemente tale progetto, anche contro il parere del suo ingegnere militare, il famoso Sébastien Le Prestre de Vauban, il quale aveva notato l'impossibilità di costruire in un terreno così accidentato e lontano da punti di rifornimento o attracco. Lo scopo, per l'epoca, era la difesa di una parte della costa occidentale francese dai possibili attacchi della flotta inglese che si trovava in guerra col Regno di Francia.

La costruzione rimase però abbozzata ed eseguita solo in minima parte sino al 1801 quando, per ordine di Napoleone, la struttura ebbe un notevole impulso evolutivo. La struttura venne edificata con gli stessi scopi di Luigi XIV, cioè difendere l'arsenale di Rochefort dalle possibili incursioni della flotta inglese.

In un primo momento si riscontrarono le medesime difficoltà costruttive evidenziate da Vauban nel Seicento, ovvero la stabilità delle fondamenta. Dovettero infatti essere apposti dei blocchi di pietra che rinsaldassero il suolo sabbioso dell'isolotto su cui il forte avrebbe dovuto prendere corpo. Ci si accorse però che la distanza tra le due isole di cui il forte era posto a guardia era eccessiva e come tale i cannoni dell'epoca non riuscivano ad impedire il passaggio sullo stretto ad un'eventuale flotta nemica e così facendo il progetto decadde già a partire dal 1809. Nel 1837 il progetto venne ripreso sotto la direzione di Luigi Filippo, a seguito delle rinnovate tensioni col Regno d'Inghilterra. La fortificazione venne finalmente completata nel 1857, con stanze sufficienti ad ospitare 250 uomini di guarnigione, anche se ormai il progredire delle tecnologie belliche aveva reso superficiale il ruolo di difesa del forte.

Sotto la Comune di Parigi del 1871, il Fort Boyard venne usato per breve tempo come carcere per poi essere abbandonato alcuni anni dopo. Presto il forte iniziò a deteriorarsi lasciando che alcuni massi crollassero rovinosamente nel mare circostante.

Nel 1961 il governo vendette il forte al dipartimento di Charente Marittima. Sei anni più tardi esso fu l'ambientazione del film Les Aventuriers.

Nel 1988 iniziarono i veri lavori di restauro del Fort Boyard, in modo da prepararlo per il famoso show televisivo che da esso prese il nome di Fort Boyard. Al forte venne apportata la luce elettrica e venne inoltre costruita una piattaforma presso la struttura per facilitare l'accesso con le imbarcazioni. I restauri terminarono nel 1989 e le riprese del programma iniziarono nel 1990. Attualmente esso è ancora il set del programma, che da trent'anni va in onda ogni estate su France 2, e al quale s'ispirò Jocelyn per Il grande gioco dell'oca. Il forte è stato sfruttato anche per versioni del programma prodotte da altre nazioni che ne riprendevano il format, per esempio quello inglese Fort Boyard: l'ultima sfida (Fort Boyard: Ultimate Challenge) (2012-2014), che è stato trasmesso anche in Italia.