הגילוי המוכר הראשון של הארכיפלג היה ב-1873 על ידי יוליוס פון פאייר וקרל ווייפרכט חברי המשלחת האוסטרו הונגרית אל הקוטב הצפוני. ספינתם הגיעה אל האיים כאשר ניסו למצוא את המעבר הצפון-מזרחי. לאחר גילויים של האיים הדרומיים של הארכיפלג הם העניקו לארכיפלג את שמו, לכבודו של פרנץ יוזף הראשון קיסר אוסטרו הונגריה. הנורווגים פריטיוף ננסן ו-יילמר יוהנסן עברו בין האיים ב-1895–1896 לאחר שכשל ניסיונם להגיע אל הקוטב. ב-1914 הנווט הרוסי ולריאן אלבאנוב ואיש הצוות אלכסנדר קונרד היו הניצולים היחידים ממשלחתו הכושלת של ברוניסלב אל הקוטב. הם הגיעו בזמן אל כף פלורה שעל האי נורת'ברוק שם הם ידעו כי נשארה בקתה עם ציוד שהשאיר החוקר הבריטי פרדריק ג'ורג' ג'קסון במשלחת הקודמת. אלבאנוב וקונרד ניצלו בזמן על ידי גאורגי סדוב כאשר החלו להתכונן לחורף. חוויותיהם פורסמו ביומנו של אלבאנוב תחת השם- "בארץ המוות הלבן".

עם כניסתם של מנועי הקיטור לכלי השיט עלה מספר המשלחות שהגיעו אל האיים. רובן הגיעו מנורווגיה. בשנות העשרים המאוחרות של המאה העשרים גם נורווגיה וגם ברית המועצות תבעו בעלות על האיים. הנורווגים כינו את האיים "ארץ פריטיוף ננסן". ברית המועצות תבעה חלק מהאזור הארקטי שכלל את ארץ פרנץ יוזף ואת האי ויקטוריה הסמוך בצו שהוצא ב-15 באוקטובר 1926. כנגד צו זה פרסמה ממשלת נורווגיה מחאה רשמית. לאחר פרסום הצו, אף על פי שנורווגיה הרשמית המשיכה לתבוע את בעלותה על האיים היא סירבה לעשות פעולות רשמיות שיסדירו את מעמד האיים, אולם היא לא התנגדה ליוזמות פרטיות. ב-1929 מימן איל ההון, הימאי הנורווגי לארס כריסטיאנסן, שתגליותיו סיפחו לנורווגיה שני איים בקרבת אנטארקטיקה, משלחת של שתי ספינות שיצאו לעבר האיים. ההוראות שהם קיבלו היו להקים תחנת אלחוט מאוישת ולהשאיר צוות שיעשה את החורף באיי פרנץ יוזף, וכן לתבוע את הבעלות על האי ויקטוריה בשמו של כריסטיאנסן. המטרה הייתה להשיג אחיזה חוקית בחלק מהארכיפלג לפני שהסובייטים יעשו זאת. המשלחת לא הצליחה להגיע אל ארץ פרנץ יוזף בשל תנאי קרח קשים, ובזמן שהם חיכו לתנאים טובים יותר הם הופתעו - בוקעת הקרח הסובייטית "גאורגי סאדוב" הקדימה אותם.

ב-29 ביולי 1929 פרופסור שמידט, אחד מחברי משלחת ה- "סדוב" הניף את דגל ברית המועצות במפרץ טיקאיה ובאי הוקר והכריז כי ארץ פרנץ יוזף היא חלק מברית המועצות. הנורווגים לא ערערו באופן רשמי על הסיפוח הסובייטי של ארץ פרנץ יוזף אולם הם המשיכו למקד את מאמציהם בנוגע לאי ויקטוריה. הוויכוח על האי ויקטוריה הסתיים בספטמבר 1932 כאשר ברית המועצות סיפחה את האי. ביולי 1931 טסה ספינת האוויר הגרמנית הצפלין מברלין לאי הוקר דרך לנינגרד. לאחר טיסה מזרחה לאורך קו הרוחב 81 מעלות צפון אל הארכיפלג סברניה זמליה הוא חזר אל האי הוקר והחל בצילום אווירי חלוצי של הארכיפלג. בטיסה זו הוא הגיע עד לאי רודולף שבצפון הרחוק.

במשך שנות המלחמה הקרה אזור הקוטב הפך לאזור חיץ חם בין ברית המועצות לארצות הברית והרבה נקודות באזור הארקטי הפכו למקומות אסטרטגיים חיוניים. האיים הוכרזו כאזור ביטחוני לאומי החל משנות השלושים ועד להתפרקותה של ברית המועצות ב-1991 והם הפכו לאזור אסור לזרים. שדה תעופה נבנה באי גרהאם בל ששימש כבסיס למפציצים הרוסיים וכן הוא שימש אתר למשימות אימונים שהיו שכיחות מאוד בין ארץ פרנץ יוזף נוביה זמליה ורוסיה היבשתית. למרות שהאי היה נקודה צבאית רגישה אוניית נוסעים ביקרה בו ב-1971. ב-2005 הגאוגרף האוסטרי כריסטוף יובנריך הגיע אל האי בראש משלחת אוסטרית – רוסית במטרה להתחקות אחר עקבותיהם של פאייר ו- ווייפרכט.

החל מה-15 ביוני 2009 הארכיפלג הוא חלק מהייסוד מחדש של הפארק הלאומי הארקטי הרוסי.