Det är tvetydigt om vem som först upptäckte Frans Josefs land. Troligen var det den svensk-norska skepparen Nils Fredrik Rönnbäck som först påträffade ögruppen 1865,[1] men det är inte klart om Rönnbäck själv förstod att han hittat ett nytt område.[2] Rönnbäck ville inte heller avslöja var hans upptäckt var belägen, och uppgifterna klargjordes aldrig officiellt.[3] Ögruppen upptäcktes med säkerhet den 30 augusti 1873 av den andra Österrikisk-ungerska polarexpeditionen under Julius von Payer och Carl Weyprecht.[4] Expeditionen påbörjades i juli 1872 när skonertenTegethoff lämnade hamnen i Tromsö, och dess ursprungliga syfte var att hitta nordostpassagen.[5] Året därpå fann de en ny landmassa som de uppkallade efter kejsar Frans Josef I av Österrike-Ungern.[6] Under året 1874 undersökte Payer ögruppens västliga delar närmare.

År 1893 gjorde Fridtjof Nansen ett försök att nå den geografiska nordpolen genom att nyttja öst-västströmmen som finns i Norra ishavet. På skeppet Fram drev han från nysibiriska öarna i tre år innan skeppet tagit sig till Svalbard, dock utan att ha kommit i närheten av nordpolen.[7] När detta stod klart bestämde han sig för att istället nå sitt mål med hundsläde tillsammans med kollegan Hjalmar Johansen.[7] Till slut var de dock tvungna att ge upp med att hitta nordpolen och vände istället mot Frans Josefs land, den närmaste kända landmassan.[8] Nansen och Johansen genomströvade de nordöstra öarna och kunde därmed konstatera att inga av de beryktade landmassorna norr om ögruppen existerade. De byggde en koja av sten och täckte den med ett tak av valrosshud, och under vintern levde de främst på isbjörns- och valrosskött.[8] Vid samma tid startade Jackson-Harmsworth-expeditionen, ledd av Frederick George Jackson och Alfred Harmsworth.[9] De satte upp en bas på Bellön[10] och övervintrade där. Följande säsong utforskade de ögruppen och stötte av ren slump på Fritjof Nansen,[11] som vid det här laget hade varit försvunnen i tre år och antogs vara död. Med Jacksons hjälp kunde Nansen och Johansen ta sig tillbaka till Norge.[8]

När ögruppens grundläggande geografi väl undersökts övergick Frans Josefs land till att främst användas som en stoppunkt på expeditioner till nordpolen. Den första sådana expeditionen genomfördes av den amerikanske journalisten Walter Wellman år 1898.[12] Resan gick misslyckades när de förlorade det mesta av sin utrustning,[13] men Wellman själv återvände följande år.

Den första betydelsefulla ryska expeditionen skedde år 1912, ledd av hydrologen Georgij Sedov. Detta var en expedition med vetenskapliga ändamål, och de gjorde flera meteorologiska och astronomiska fasttaganden.[14] De genomförde också topografiska undersökningar av området. Sedov gjorde ett försök att nå nordpolen, men hans tillstånd försämrades och han avled.[15]

Eftersom den andra österrikisk-ungerska polarexpeditionen inte var bekostad av offentliga medel utan helt privat finansierad tillföll inte Frans Josefs land Österrike-Ungern per automatik. Frans Josefs land var generellt erkänt som Terra Nulius, ett område som inte tillhör någon stat.[16] Först 1926 hävdade något land definitivt territoriellt anspråk på ögruppen, i och med att Sovjetunionen annekterade den och den införlivades i Ryska SFSR.[4] Norge protesterade, mest på grund av sina ekonomiska intressen kring Frans Josefs land.[17] Den sovjetiska regeringen förblev dock någorlunda passiv och tvingade till en början inte bort norska fiskebåtar från sitt territorialvatten.[18] År 1930 gjorde den norska Bratvaag-expeditionen ett kort besök vid Frans Josefs land, men ombads att lämna området och att respektera sovjetiskt territorium i framtiden. Förutom en tysk väderstation etablerad under andra världskriget förblev detta den sista västerländska expeditionen till Frans Josefs land fram till år 1990.

Det kalla kriget bidrog till ett stort sovjetiskt intresse kring öarna på grund av dess strategiska läge. Platsen för den tidigare tyska väderstationen valdes för att bygga den nya sovjetiska militärbasen Nagurskaja under 1950-talet.[19]

På grund av Frans Josefs lands militära betydelse förbjöds utländska vetenskapsmän att besöka öarna, men sovjetiska forskare fortsatte genomföra expeditioner. Bland annat utförde de undersökningar av jonosfären, och studier inom geofysik, marinbiologi, ornitologi och glaciologi. Sovjetunionen började öppna upp öarna för internationella aktiviteter år 1990.[20]

Efter öppnandet av Frans Josefs land genomförde Geografiska institutet i Moskva, Stockholms universitet och Umeå universitet expeditioner 1990 och 1991, där man studerade klimat- och glacialhistoria.[21][22] Den militära närvaron vid Nagurskaja reducerades till en gränspost, och ögruppen och dess omgivande vattnen förklarades som naturreservat i april 1994.[23] Öppnandet av Frans Josefs land bidrog också till införandet av turism. I ett drag för att tillgodose detta utökades den Ryska arktiska nationalparken till att omfatta Frans Josefs land 2011.[24]