Los resultados de excavaciones arqueológicas han probado que la isla de Saaremaa está habitada desde hace al menos cinco mil años. En las antiguas sagas escandinavas, a Saaremaa se la llama Eysysla, nombre que tiene exactamente el mismo significado que Saaremaa en estonio: la región de la isla. Este nombre se proyectó al alemán y al sueco dando el nombre de Ösel y en latín Osilia. El nombre Eysysla aparece conjuntamente con Adalsysla, la gran región, quizás “Suuremaa” o “Suur Maa” en estonio, que designa la parte continental de Estonia. Las sagas informan de numerosas escaramuzas entre los osilianos y los vikingos. Saaremaa era la región más rica de la antigua Estonia y el refugio de numerosos piratas estonios (a quienes se llamaba a veces los vikingos estonios). La Crónica de Enrique de Livonia describe una flota de dieciséis barcos y quinientos osilianos que devastan el Sur de Suecia (que era entonces danés).

En 1227, Saaremaa fue conquistada por los Caballeros livonios en el transcurso de las cruzadas bálticas aunque la isla se convirtió en uno de los principales focos de la resistencia estona. Cuando el ejército lituano derrotó a los caballeros en la batalla de Saule en 1236, los insulares se rebelaron. El conflicto fue regulado por un tratado firmado por los osilianos y los jefes de la Orden.

En este se acordaba que una parte de Saaremaa sería controlada directamente por la Orden, mientras que la otra parte sería controlada por el obispado de Ösel-Wiek, que sería parcialmente independiente. El 15 de abril de 1560, el obispado y Saaremaa fueron vendidos a Dinamarca bajo cuya dominación permanecería hasta 1645.

En 1645, Dinamarca cedió Saaremaa a Suecia mediante el Tratado de Brömsebro. En 1721, Saaremaa así como el resto de la Estonia sueca fue cedido a Imperio ruso en el Tratado de Nystad.

En el siglo XX, Saaremaa ha estado ocupada dos veces por los alemanes. En la Primera Guerra Mundial, las islas estonias fueron conquistadas en octubre de 1917, (Operación Albión) y ocupadas hasta el fin de las hostilidades.