הממצאים הארכאולוגיים העתיקים ביותר ברוהנו, שמשוער כי הם קשורים לציד כלבי-ים עונתי, מתוארכים ל-5000 לפנה"ס בערך. עת הגעת הסקנדינבים הקדומים לרוהנו ותחילתו של יישוב שוודי קבוע אינה ידועה. היא כנראה התחילה אחרי המאה ה-13, שכן אז נכפתה הנצרות על תושבי מפרץ ריגה בידי המסדר הטבטוני.

הפעם הראשונה בה הועלתה רוהנו ואוכלוסייתו דוברת השוודית לכתב הייתה במכתב שנשלח בשנת 1341 על ידי בישופ קורלנד, הנותן אישור לתושבי רוהנו לחיות ולנהל את נכסיהם על-פי החוק שוודי.

משנת 1621 עד שנת 1721 הייתה רוהנו שייכת לממלכת שוודיה, ולאחר מכן לאימפריה הרוסית עד מלחמת העולם הראשונה. בשנת 1644 נבנתה כנסייה מעץ ובניית הצריח שלה הסתיימה ב-1755. אוכלוסיית האי הייתה מבודדת ביותר ונישואי קרובים היו נפוצים בקרבה. ב-1877 הובא לאי מגדלור שיוצר בצרפת ועוצב בידי גוסטב אייפל. המגדלור הוקם בנקודה הגבוהה ביותר באי. בשנת 1915, נכבש האי בידי הקיסרות הגרמנית, עד שנת 1918.

בשנת 1919, לאחר סיום המלחמה, חרף ניסיונות מקומיים להצטרף מחדש לשוודיה, וטענות טריטוריאליות של לטביה, הסכימו בני האי להצטרף לאסטוניה שזה עתה הוקמה. על-פי מפקד אוכלוסין משנת 1934, התגוררו באי 282 נפשות, מתוכם 277 שוודים ו-5 אסטונים אתנים.

במלחמת העולם השנייה, רוהנו, יחד עם שאר אסטוניה, נכבשה תחילה בידי ברית המועצות (1940 עד 1941) ואחר כך בידי גרמניה הנאצית (1941 עד 1944). בנובמבר 1943, 75 מבני האי נטשו אותו ועברו לשוודיה. ב-4 באוגוסט 1944, זמן קצר לפני הכיבוש הסובייטי השני, כל התושבים שנשארו על האי, פרט לשתי משפחות, ברחו באונייה לשוודיה.

במהלך השלטון הסובייטי אוכלס האי מחדש בידי אסטונים אתנים בעיקר מן האיים קיהנו וסארמאה, וגם שירת בסיס צבאי סובייטי. מספר התושבים מעולם לא עבר את ה-400. בשנות השבעים, אחרי שסופה פגעה ברוהנו, רוב התושבים יושבו במקומות אחרים בברית המועצות ובשוודיה.[דרוש מקור]

אחרי שאסטוניה קיבלה מחדש את עצמאותה בשנת 1991, כל המבנים, השטח והנכסים הוחזרו לבעליהם המקוריים לפני הכיבוש הסובייטי או לצאצאיהם, אשר במקרה של רוהנו, התגוררו ברובם בשוודיה. אף על פי שרובם לא חזרו לאי, הם עדיין מבקרים לעיתים בארץ אבותיהם.