El primer nombre de la isla fue K'gari que significa Paraíso en la lengua de los aborígenes.

El explorador británico James Cook descubrió la isla el 29 de mayo de 1770. La contorneó por la parte este, suponiendo que se trataba sólo de un promontorio. Dio nombres a las zonas de ribera que fue explorando. Indian Head, es un acantilado al noreste de la isla. Le dio este nombre porque allí se reunieron los aborígenes a su llegada. Sandy Cape forma la punta de la isla. Hoy día hay allí un faro que avisa a los barcos de que las aguas son peligrosas.

En la noche del 22 de mayo de 1836 el barco Stirling Castle naufragó en la Gran Barrera de Coral, a unos cientos de kilómetros al norte de la isla Fraser. A bordo iban dieciocho personas, entre ellas el Capitán James Fraser y su esposa Elizabeth.

Botaron una barca de rescate para la tripulación, y el capitán y su esposa tomaron otro bote de rescate que fue remolcado por la tripulación.

Según las historias de Elizabeth Fraser, los náufragos desembarcaron cerca de Waddy Point, donde fueron en busca de agua dulce. Todos ellos fueron capturados por aborígenes que supuestamente les mantuvieron en cautividad durante varias semanas. Los aborígenes también les obligaron a trabajar para ellos. El capitán Fraser cayó enfermo y era incapaz de trabajar, fue herido por una lanza y sucumbió a sus heridas ocho o nueve días más tarde. Pero según otro superviviente el capitán murió de muerte natural. También se dice que los aborígenes habrían rescatado a la tripulación.

Elizabeth Fraser sobrevivió y fue, junto con otros supervivientes, rescatada por una patrulla de socorro que llegó de Brisbane. Pudo retornar a Inglaterra en 1837, y gracias a su talento como narradora, su relato se vendió en todas las librerías de Londres. Los sufrimientos del capitán Fraser y su esposa Elizabeth se convirtieron en legendarios y dieron nombre a la isla. Su historia también inspiró la novela del famoso escritor australiano Patrick White: Un cinturón de hojas. Sin embargo, estas historias han encontrado gran hostilidad entre los aborígenes de toda Australia. Elizabeth Fraser murió más tarde en Melbourne, atropellada por una carroza.

Los habitantes de los alrededores comenzaron a visitar la isla en los años 1870. Pero el turismo no se desarrolló en la isla Fraser hasta 1930 con la organización de la primera central comercial de los operadores turísticos y la organización de las primeras visitas. El turismo fue creciendo a lo largo del siglo XX. En 1970, la isla llegó a ser un destino importante de la costa de Queensland. En 1992, la isla pasó a formar parte del parque nacional Gran Arenosa. Desde 1976, los bosques fueron declaradas propiedad del Estado.

En los años 1950, las autoridades australianas pusieron en marcha un plan para transferir la población de Nauru, isla superpoblada y muy afectada por la extracción de fosfatos, en primer lugar a la isla Fraser y luego a la isla Curtis.[1]​ Este proyecto no prosperó y finalmente fue desestimado en 1964 a causa de la negativa de Australia a la independencia de los habitantes Nauru que tendrían que contentarse con una autonomía en la Commonwealth de Australia.[1]​[2]​

Hoy en día, el desarrollo del turismo, conservando el encanto y la biodiversidad de la isla se ha convertido en el reto de las autoridades. En la isla, los turistas son conscientes de la fragilidad de un ecosistema único. El mantenimiento de esta atracción depende de su conformidad con las normas básicas tales como la prohibición de alimentar a los dingos. La cohabitación de hombres y dingos está, en efecto, sujeta a una considerable controversia. El 30 de abril de 2001, un niño de nueve años de edad, fue atacado y muerto por dingos en la isla de Fraser. Se trataba del primer caso de un ataque fatal a un ser humano de más de un año por los dingos en Australia. 31 dingos acostumbrados a frecuentar las zonas turísticas fueron sacrificados. Algunos hablaron de sacrificar a todos, incluso aunque los dingos están en la lista de especies en peligro de extinción. El mensaje que se da a los turistas es el siguiente: si se quiere que la isla Fraser permanezca abierta al público, debemos ser conscientes de que nuestra presencia debe ser lo menos visibles y lo menos perjudicial posible.