Los primeros indicios arqueológicos que revelan la presencia humana en Ruhnu datan del siglo -IV y está principalmente vinculada a la caza estacional de la foca. La fecha de llegada de los primeros escandinavos a Ruhnu y el comienzo del asentamiento permanente de población sueca es desconocido. Probablemente no sea anterior a las Cruzadas Bálticas de comienzos del siglo XIII mediante las cuales los indígenas de las tierras ribereñas del golfo de Riga fueron obligados a convertirse al cristianismo y fueron sometidos a la Orden Teutónica. El primer documento conservado que menciona la presencia de población sueca en la isla es una carta de 1341 enviada por el Obispo de Curlandia que confirma que los insulares tienen derecho a habitar la isla y administrar su propiedad según las leyes suecas.

Ruhnu estuvo ocupada por el Reino de Suecia (1691 a 1708, formalmente hasta 1721), después pasó a la soberanía rusa hasta la Primera Guerra Mundial, cuando el Imperio alemán tomó el control de la isla (1915-1918). Tras la guerra, a pesar de las iniciativas locales para reincorporarse a Suecia y a pesar del hecho de que Letonia reivindicaba el territorio, los insulares aceptaron formar parte de Estonia en 1919. Según un censo de 1934, Ruhnu tenía una población 282 habitantes, de los cuales 277 eran de origen sueco y 5 de procedencia estonia.

Durante la Segunda Guerra Mundial, al igual que el resto de Estonia, Ruhnu estuvo ocupado por la Unión Soviética (1940-1941), posteriormente por Alemania (1941-1944). En noviembre de 1943, un primer grupo de 75 habitantes fueron trasladados a Suecia. En agosto de 1944, poco después del inicio de la segunda ocupación soviética, el resto de la población excepto dos familias, huyen a bordo de un barco con destino a Suecia.

Algunos civiles de origen estonio repoblaron Ruhnu durante la segunda ocupación y la isla sirvió también como base para una pequeña guarnición del ejército soviético. Volvió a aumentar el número de habitantes aunque nunca sobrepasaría los 400, en los años 1970, después de que una tormenta afectara la isla, la mayoría de los habitantes fueron trasladados. Tras la independencia de Estonia en 1991 las tierras y propiedades fueron devueltas a sus legítimos propietarios la mayoría de los cuales residían en Suecia.