1824年12月下旬と1825年1月上旬、スペインが米国に5百万ドルでフロリダを売却したおよそ5年後に、米国海軍のデイヴィッド・ポーター（英語版）（David Porter）提督がドライ・トートゥガス諸島を視察した。提督は、カリブ海の海賊を鎮圧するのに役立つ海軍基地の場所を探していた。彼は、自分の見たものに感銘を受けず、海軍長官に、ドライ・トートゥガスはいかなる海軍の施設にも向いていないと知らせた。ドライ・トートゥガスは、わずかに海面に顔を出す小さな砂の島で構成されており、真水がないうえ、砦を築くための土地もほとんどなく、いずれにせよおそらく砦を支えられるほど頑丈ではないと報告した。

ポーター提督は、ドライ・トートゥガスは海軍基地には向かないと考えたが、米国政府の他の者は、サンゴ礁や小島周辺の船を導く灯台建設には適した島であると考えた。ブッシュ・キー（Bush Key）と呼ばれた小島 － 後にガーデン・キー（Garden Key）と呼ばれる － が、灯台の場所として選ばれた。灯台はガーデン・キー灯台（英語版）（Garden Key Light）として知られるようになった。建設は1825年に始まり、1826年に終わった。65 フィートの灯台は、白しっくい塗りの外観を有する、レンガ造りの建物である。 灯台守のための小さな白い家が灯台の傍らに建てられた。

1829年5月、ジョン・ロジャース（John Rodgers）提督が、投錨地としての適性を評価するため、ドライ・トートゥガスに立ち寄った。ポーター提督の体験に反し、ロジャースは自分が見出したものに喜んだ。彼は、ドライ・トートゥガスが11の小さな島、周囲のサンゴ礁、堆で構成されており、堆の上で海が分かれていると報告した。 外港と内港があり、外港は常時安全な投錨地として利用可能で、多数の船舶が投錨できるほど広かった。さらに重要なことに、内港は戦列艦に十分な水深を有すると同時に、せいぜい110 m（120 ヤード）しかない狭い入口を兼ね備えていた。ロジャースは、万一、敵対勢力がドライ・トートゥガスを占領すれば、メキシコ湾での米国の船舶輸送は恐ろしく危険なものとなり、「絶対的な制海権」 ("nothing but absolute naval superiority")[要説明] を握られてしまう。しかし、占領して米国が要塞化すれば、ドライ・トートゥガスはメキシコ湾岸の防御のための「前哨基地」となるであろうと述べた。

一連の技術研究と官僚的な遅れのため17年間もかかったが、1846年、ジェファーソン砦（第3代大統領トーマス・ジェファーソンに因んで名付けられた）の建設が、ようやくガーデン・キーで始められた。既存のガーデン・キー灯台と灯台守の小屋を砦の擁壁内に取り込めるように、新しい砦は作られた。灯台は、1876年に砦の隣の壁の上に現在の金属製の灯台が設置されるまで、ドライ・トートゥガス諸島水域を航行する船を案内する重要な機能を果たし続けた。元のレンガの灯台は1877年に取り壊された。

砦の構造は、3層6面の420の重砲を持つ砦で、99 m（325 フィート）の2面と145 m（477 フィート）の4面を有する。壁面の角には堡塁が設けられている。堡塁は、取り付けられた壁面に沿った防御射撃を可能にするよう設計された大きな突起である。重砲は、壁の中の一連の屋根のない砲郭または砲室に取り付けられ、銃眼と呼ばれる大きな開口部を通して海へ向けられていた。ジェファーソン砦は、難攻不落の巨大な砲床であり、強力な砲の射程範囲内に来る無謀な敵船を破壊することができるように設計された。

砦を維持するために必要な兵と士官のための宿舎、火薬庫、倉庫、その他の建物は、砦の巨大なレンガ壁の内側の練兵場にあった。軍は、砦の建設支援のため、民間の機械製作工、大工、鍛冶屋、石工、一般労働者、収容している囚人、奴隷を雇用した。1863年、南北戦争の期間中は、ジェファーソン砦の軍の囚人の数が非常に増加したため、奴隷をもはや必要としないほどであった。当時は、22名の黒人奴隷が、建設プロジェクトのために雇われていた。

ジェファーソン砦のピーク時の軍人数は1,729名であった。加えて、多くの士官が家族を、限られた数の下士官と兵が妻を洗濯婦（通常は1中隊あたり4人）として連れてきた。 灯台守とその家族、料理人、民間の医師とその家族、その他の人もいた。ピーク時にはジェファーソン砦に全体で2,000人近くの人が暮らしていた。

砦は、南北戦争の間中、北軍の手中にとどまった。1865年、南北戦争の終結と共に、砦の人口は、486名の兵士または民間人と、527人の囚人からなる1,013人に減った。ジェファーソン砦の大部分の囚人は兵士で、その一般的な罪は脱走だった。民間人の囚人の犯した最も一般的な罪は強盗だった。しかし、1865年7月、4人の特殊な民間の囚人が到着した。 サミュエル・マッド（英語版）（Samuel Mudd）博士、エドマン・スパングラー（英語版）（Edmund Spangler）、サミュエル・アーノルド（英語版）（Samuel Arnold）、マイケル・オローレン（英語版）（Michael O'Laughlen）で、彼らはエイブラハム・リンカーン大統領の暗殺の共犯として有罪判決を受けていた。ジェファーソン砦は、マッド博士とその仲間達が到着したときも、まだ建設中であり、 収容されていた期間中ずっと、そしてその後数年間建設が続いたが、完全にできあがることはなかった。1867年、マッドは、黄熱の蔓延時に砦で行った医療行為が高く評価され、結局、アンドリュー・ジョンソン大統領によって恩赦、釈放された。1888年には、ジェファーソン砦の軍事的有用性は減じ、頻繁なハリケーンの発生と、腐食、消耗させる熱帯の気候の影響により生じる砦の維持コストはもはや正当化できなくなった。

1888年、軍は砦を米国公衆衛生局（Marine-Hospital Service）に検疫所として運営するよう引き渡した。1935年1月4日、フランクリン・ルーズベルト大統領は、船でこの地を訪れ、ジェファーソン砦国定史跡に指定した。1970年11月10日、歴史遺産登録制度（英語版）（National Register of Historic Places）に登録された。1976年に近隣のエバーグレーズ国立公園と共にユネスコの生物圏保護区に指定された[1]。1992年10月26日、ジェファーソン砦を含め、ドライ・トートゥガスは国立公園となった。ドライ・トートゥガス島には、いまだいかなる静水もなく、季節河川すらみられない。それ故、「ドライ」という名がある。こうした状況で生き残ることは困難なため、島の一つは空軍兵訓練用の軍のサバイバル映画の撮影場所として使用された。