Aunque el descubrimiento oficial del archipiélago tuvo lugar en la segunda mitad del siglo XIX, varios científicos y geógrafos anticiparon su existencia. Mijaíl Lomonósov, en su obra titulada Breve descripción de las diferentes travesías en los mares del norte y demostración de la posibilidad de llegar a las Indias orientales atravesando el océano siberiano (1763), sugirió la presencia de islas al este de Spitsbergen.[1]​

También en 1865, el líder naval ruso, pionero del océano Norte y luego almirante ruso, barón N. G. Shilling (1828-1910), en su artículo «Consideraciones sobre una nueva ruta en el Mar Polar Norte», publicado en la «Colección Marina», basándose en un análisis del movimiento del hielo en la parte occidental del océano Ártico, sugirió la existencia de una tierra desconocida, ubicada al norte más lejos que Spitsbergen.[2]​

Y a finales de la década de 1860, el meteorólogo ruso A.I. Voyéikov (1842-1916) planteó la cuestión de organizar una gran expedición para explorar los mares polares. Esa idea fue apoyada calurosamente por el geógrafo y naturalista príncipe Piotr Kropotkin (1842-1921). Las observaciones sobre el hielo del mar de Barents lo llevaron a la conclusión de que:

En 1871, se redactó un proyecto detallado de la expedición,[4]​ pero el gobierno se negó a proporcionar fondos y no se llevó a cabo.

El archipiélago posiblemente se descubrió por primera vez por los cazadores de focas noruegos Nils Fredrik Rønnbeck y Aidijärvi a bordo de la goleta Spidsbergen en 1865 que, según los escasos informes, navegó hacia el este de Svalbard hasta que llegó a una nueva tierra, que anotaron como «Nordøst-Spitsbergen» (noroeste de Spitsbergen, el nombre usado en ese momento para todo el archipiélago de Svalbard). No se sabe si tomaron tierra y las nuevas islas fueron pronto olvidadas.

El archipiélago fue descubierto el 30 de agosto de 1873 por la Expedición austro-húngara al Polo Norte, liderada por Karl Weyprecht y Julius von Payer, cuando su goleta a vapor, el Tegetthoff quedó bloqueado en el hielo mientras intentaban encontrar la Ruta del Mar del Norte.[5]​ Tras explorar las islas del sur, decidieron ponerle el nombre del emperador austriaco Francisco José de Austria.

La expedición tenía como objetivo probar la hipótesis del geógrafo alemán August Petermann (1822-1878) sobre la existencia de un cálido mar polar del norte y un gran continente polar. La expedición fue financiada por Johann Nepomuk, conde Wilczek (1837-1922), chambelán de la corte austriaca, y Ödon, conde Zichy (1811-1894). La goleta partió en 1872 para abrir el Paso del Noreste, en agosto fue atrapada por el hielo al noroeste de Nueva Zembla y luego, poco a poco fue a la deriva hacia el oeste; un año después, el 30 de agosto de 1873, fue llevada a las costas de una tierra desconocida, que luego fue reconocida por Weyprecht y Payer, en la medida de lo posible, hacia el norte y a lo largo de sus aguas afueras al sur.

Payer logró llegar a los 82°5' N (en abril de 1874) y consiguió hacer un mapa de este vasto archipiélago, que a los primeros exploradores les pareció consistir en una serie de grandes islas. A los viajeros austriacos se les dio una tierra recién descubierta con el nombre del emperador austro-húngaro Francisco José I. En Rusia, tanto en la época imperial como en la soviética, se planteó la cuestión de cambiar el nombre del archipiélago: primero por el de Tierra de los Romanov, y luego, después de 1917, en la Tierra de Kropotkin o la Tierra de Nansen, pero esas propuestas no se llevaron a cabo, y la tierra todavía tiene su propio nombre original.[6]​

El 20 de mayo de 1874 la tripulación del Tegethof se vio obligada a abandonar el barco y navegar a través del hielo hasta las costas de Nueva Zembla, donde se reunieron con los comerciantes rusos pomores que les ayudaron en el regreso de la expedición.

Weyprecht y Payer exploraron la parte sur del archipiélago en 1873, y en la primavera de 1874 lo cruzaron de sur a norte en trineos. Se elaboró el primer mapa. Dado que durante el viaje el mar se cubrió de hielo, la expedición no pudo encontrar una gran cantidad de estrechos, puesto que el archipiélago parecía estar formado por varias grandes islas.

En 1879 una expedición neerlandesa al mando de De Bruyne se acercó a las costas del archipiélago en el barco Willem Barents, que descubrió la isla Hooker.

En 1881 y 1882, respectivamente, visitó el archipiélago el explorador escocés Benjamin Leigh Smith en el barco Eira. Durante el primer viaje se descubrieron islas de Northbrook, Bruce, Tierra de Jorge y Tierra de Alexandra, ricas colecciones. En el segundo viaje, el barco fue aplastado por el hielo cerca de cabo Flora (isla de Northbrook), y una tripulación de 25 personas se vio obligada a pasar el invierno en la isla. En el verano, la expedición en botes navegó hacia el sur y fue rescatada por los barcos que los buscaban.

En 1895-1897 una amplia y bien equipada expedición británica, la expedición Jackson-Harmsworth dirigida por Frederick George Jackson trabajó en Tierra de Francisco José. La expedición llegó en el barco Barlovento al cabo Flora, donde equipó su base principal. En los esos tres años realizaron un trabajo importante para perfeccionar los mapas, con investigaciones geológicas, botánicas, zoológicas, meteorológicas en las zonas sur, centro y suroeste del archipiélago. Se descubrió que consistía en un número mucho mayor de islas más pequeñas que las indicadas originalmente en el mapa de Payer. Durante la preparación de la expedición Jackson-Harmsworth a la Tierra de Francisco José en 1895, el primer ruso, el carpintero Varakin de Arcángel, también la visitó (en esta ciudad la expedición fue equipada y se llevó una choza rusa plegable).[7]​

En 1895, sin saber nada de la expedición Jackson-Harmsworth, los exploradores noruegos Fridtjof Nansen y Hjalmar Johansen se acercaron al archipiélago desde el norte, al regresar de su famoso viaje, Expedición Fram, durante el cual intentaron conquistar el Polo Norte. Nansen estableció que el archipiélago no tenía continuación hacia el noreste, a excepción de pequeños islotes, y la expedición en el barco Fram, en el que Nansen y Johansen habían embarcado previamente, que vagaba a la deriva en el hielo, encontró que la plataforma continental termina al norte del archipiélago y comenzaban las profundidades del mar. Los dos noruegos pasaron el invierno en la isla Jackson desde mediados de agosto de 1895 en una choza hecha de piedras, luego en el verano se fueron al sur y en junio de 1896 se encontraron en la isla Northbrook con la expedición Jackson-Harmsworth invernada allí, con la que luego regresaron a su tierra natal. La nueva isla, descubierta por Nansen en el norte del archipiélago, que confundió con dos islas separadas, recibió el nombre doble de Eve y Liv en honor a su esposa e hija. Las islas fueron reclamadas por Noruega durante algún tiempo, en el que les dieron el nombre de «Tierra de Fridtjof Nansen», que se puede encontrar en mapas antiguos.

En 1898 el periodista y aventurero estadounidense Walter Wellman fue a la Tierra de Francisco José con miras a llegar al polo. La base principal de la expedición estaba ubicada en la isla de Galla. Dos noruegos, miembros de esta expedición estadounidense-noruega, pasaron por la isla de Wilczek. Uno de ellos, un miembro de la expedición Nansen Bernt Bentsen, murió durante el período de invernada. En la primavera de 1899, solo logró llegar a 82° N sobre el hielo, en el lado este de la isla Rudolf, que también había visitado Payer. Otra parte de la expedición, dirigida por Baldwin, examinó partes desconocidas de las afueras del sureste del archipiélago, que, como se vio después, no llega muy lejos hacia el este; finalmente, en verano logró visitar la parte media del archipiélago. En el camino de regreso, la expedición se encontró con otro italiano, el duque de los Abruzzos, que logró pasar muy fácilmente a fines de julio de 1898 en barco a la isla Rudolf e incluso visitar su costa norte, y que resultó ser mucho menos extensa que los que Payer había esperado. Invernaron aproximadamente cerca del lugar al que llegó Payer en 1874 en trineos. A partir de aquí, en la primavera de 1900, se emprendió un viaje en trineo tirado por perros por el hielo hacia el norte, bajo el mando del capitán Umberto Cagni. Logró llegar hasta los 86° 33' N, entonces el punto más septentrional alcanzado. Ese viaje finalmente aclaró que la tierra de Peterman, al norte de la isla Rudolph, y la tierra del rey Oscar, al noroeste, que aparecían en el mapa de Payer, no existían, y en general no había tierras de tamaño significativo más allá hasta el polo. Al mismo tiempo, aquí se registró la temperatura más baja, -52 °C. En septiembre de 1900, la expedición de los Abruzos en el barco Stella Polare regresó a las costas de Noruega, aunque tres de sus miembros desaparecieron en el archipiélago.

Al mismo tiempo comenzó el desarrollo industrial del archipiélago. En 1897-1898 el comerciante escocés T. Robertson visitó la Tierra de Francisco José, capturando alrededor de 600 morsas y 14 osos polares.

En el verano de 1901, las costas sur y suroeste del archipiélago fueron exploradas por la primera expedición rusa en el rompehielos Yermak bajo el mando del vicealmirante Stepán Makárov. Algunas fuentes afirman que fue ella quien izó por primera vez la bandera rusa aquí. El Yermak se convirtió en el primer barco ruso frente a las costas de la Tierra de Francisco José, la tripulación estaba formada por 99 personas, incluido un grupo científico. Se realizaron paradas y desembarcos en cabo Flora en la isla Northbrook y en la isla Hochsteter. Se recolectaron colecciones de plantas, fósiles y suelo, se descubrieron aguas cálidas de la corriente del Golfo cerca del extremo sur del archipiélago, fluyendo en horizontes por debajo de 80-100 m. Un intento de abrirse paso hacia las costas orientales del archipiélago, debido a las pesadas condiciones del hielo, no fue coronada por el éxito.

En 1901-1902, en la Tierra de Francisco José, estuvo invernada la estadounidense expedición Baldwin-Ziegler, y la siguió a la 1903-1905 años la expedición de Ziegler-Fiala, que tuvo que tratar de caminar sobre el hielo en el Polo Norte. El naufragio del barco obligó a los miembros de la expedición Ziegler a pasar dos años en el archipiélago aislados antes de ser rescatados.

En 1913-1914 la expedición de Gueorgui Sedov en la goleta Mijaíl Suvorin (San Foka) invernó en la bahía Tikhaya, cerca de la isla Hooker. En un intento por llegar al Polo, Sedov murió el 20 de febrero de 1914, cerca del cabo Auk de la isla Rudolf, donde supuestamente fue enterrado (los marineros acompañantes fueron mal guiados en los mapas y posteriormente no se encontró el lugar de enterramiento). El 1 de marzo de 1914, el primer mecánico de la goleta, J. Sanders, fue enterrado en la costa de la bahía de Tikhaya, muerto de escorbuto.

En 1914 el navegante ruso Valerian Albanov y un tripulante, Alexander Konrad, únicos sobrevivientes de la nefasta expedición (1912-1914) de Georgy Brusilov, habrían llegado a cabo Flora en la isla Northbrook, donde sabían que Nansen había dejado provisiones y había construido una cabaña en su anterior expedición ártica. Albanov y Konrad fueron rescatados a tiempo por el buque Saint Foka de Georgy Sedov, mientras se estaban preparando para el invierno. Su difícil situación fue narrada en la publicación del diario de Albanov aparecida como En el país de la muerte blanca (1917).

Con la introducción de grandes buques de vapor, desde la última década del siglo XIX, una larga serie de expediciones para la caza de focas fueron hechas a las islas, con más del 80% de ellas procedentes de Noruega. A finales de 1920, tanto la Unión Soviética como Noruega tomaron posesión de las islas. Los noruegos las llamaron las islas de la «Tierra Fridtjof Nansen». La Unión Soviética reclamó un sector en la región del Ártico que incluyó Tierra de Francisco José y la cercana Isla Victoria en un decreto de 15 de abril de 1926. Noruega fue notificada el 6 de mayo y protestó oficialmente el 19 de diciembre, impugnando la demanda soviética.

En los años siguientes, las autoridades noruegas pusieron mucho énfasis en la recuperación de la isla Victoria y la Tierra de Francisco José. El Ministerio de Relaciones Exteriores no quiso tomar ninguna medida para sentar las reclamaciones oficiales, pero no puso objeción a las iniciativas privadas. En 1929, el cónsul Lars Christensen de Sandefjord, un magnate cuyas expediciones a la caza de la ballenas habían permitido anexionar isla Bouvet e isla Pedro I en la Antártida, financió una expedición de dos buques, S/S Torsnes y M/C Hvalrossen. Tras la salida de Tromsø, a la tripulación se les dio instrucciones detalladas para erigir una estación inalámbrica tripulada y dejar una tripulación de invernada en Tierra de Francisco José, y también para reclamar la isla Victoria en nombre de Christensen. El objetivo era obtener respaldo jurídico de parte del archipiélago antes de que los soviéticos lo hicieran. La expedición nunca llegó a Tierra de Francisco José debido a las duras condiciones del hielo, y en espera de mejores condiciones, fueron superados por el rompehielos soviético Georgij Sedov.

El 29 de julio de 1929 el profesor Otto Schmidt de la Expedición Sedov plantó la bandera soviética en la bahía Tikaya, en la isla de Hooker, y declaró que la Tierra de Francisco José era una parte de la Unión Soviética. Noruega no dio oficialmente contestación a la anexión soviética de la Tierra de Francisco José, sino que continuó sus esfuerzos con respecto a la isla Victoria. La controversia sobre la isla Victoria terminó cuando los soviéticos anexionaron la isla en septiembre de 1932

En julio de 1931 el Graf Zeppelin viajó de Berlín a la isla Hooker pasando por Leningrado (San Petersburgo). Allí dejó 300 kg de correo conmemorativo y se encontró con el rompehielos Malyguin. Tras viajar al este siguiendo el paralelo 81ºN hasta Sévernaya Zemliá volvió a la isla Hooker y realizó la cartografía del archipiélago, llegando hasta la isla Rudolf.

Durante los años de la Guerra Fría, las regiones polares pasaron a ser ubicaciones estratégicas. Las islas fueron declaradas una de las muchas zonas de seguridad nacional en el ártico desde 1930 hasta el colapso de la Unión Soviética en 1991, y no se permitía su acceso a los extranjeros. Se construyó un aeropuerto en Graham Bell para su uso como base para los bombarderos rusos, y se realizaron a menudo misiones de entrenamiento entre la Tierra de Francisco José, el continente y Nueva Zembla. Aunque las islas eran una zona militarmente sensibles, se permitió en 1971 que las visitase un crucero.

En 2005 el geógrafo austriaco Christoph Höbenreich dirigió una expedición conmemorativa de la expedición de Payer-Weyprecht en Tierra de Francisco José. El equipo austro-ruso siguió los pasos de la histórica exploración de Julius Payer en esquís y trineos tipo pulka (palabra sueca para referirse a trineos cortos de transporte tirados por esquiadores o perros).

La Iglesia Ortodoxa Rusa, mediante un anuncio en 2005 del obispo Tijon de Arcángel, ratificado por el obispo de Jolmogori en agosto de 2007, reveló su intención de construir la iglesia más septentrional del mundo en el archipiélago de Francisco José, a la que llamarán San Nicolás.