ממצאים ארכאולוגיים (כגון קאנו שנמצא, ערימות אשפה ועצים מסוגים מסוימים שנשתלו באי), מעידים על כך שהאוסטרלים האבוריג'ינים שהו באי כבר לפני יותר מ-5,000 שנים. האוכלוסייה הקבועה של האי מנתה לאורך השנים כ-400–600 איש, והיא גדלה בעונות החורף ל-2,000–3,000 איש, בשל שפע מקורות מזון מהים שהיה מצוי באי יחסית לאזורים סמוכים.

האירופאי הראשון שגילה את האי היה ג'יימס קוק, ששט עם ספינתו לאורך חופי האי בין 18–20 במאי 1770. הוא קרא לאי "ראש אינדיאני" (Indian Head), אחרי שראה ילידים אבוריג'ינים שמתקבצים באי. גם מתיו פלינדרס שט לאורך האי ואף ניסה למפות אותו, ב- 1799 ושוב ב-1802, אך לא אוששה עדיין העובדה שהאי מנותק מהיבשה באוסטרליה.

האירופאים הראשונים החלו להתיישב באי כאשר האנייה "טירת סטירלינג" נסחפה אליו, כאמור, ב-1836. נראה כי התרחשו קרבות עזים בין אנשי הצוות של האניה לבין הילידים האבוריג'ינים, בששת השבועות בהם חיו על האי. בעקבות השתלטות האירופאים על האי, ירד מספרם של האבוריג'ינים באי עד שנת 1890 ל-300 איש בלבד, בשל מוות ממחלות, מחסור במזון והרג מנשק חם. רוב הילידים שנותרו, בני שבט הבוצ'ולה, עזבו את האי עד 1904, והועברו למיסיונים נוצריים בקווינסלנד.

ב-1935 נסחפה לאי האניה "מהינו", בעקבות סופת ציקלון. האניה נבנתה ב-1905 בסקוטלנד, כאניית נוסעים מפוארת שנועדה לחציית ים טסמן. במלחמת העולם הראשונה שימשה כאניית בית חולים, ובסיומה חזרה לשמש כאניית נוסעים. ב-1935 האניה הוכרזה כמיושנת והייתה בדרכה למלבורן כאשר נקלעה לסופה ונסחפה לאי פרייזר. בתקופת מלחמת העולם השנייה שימשה האנייה שנתקעה באי כמטרה נייחת לאימוני ההפצצות של חיל האוויר האוסטרלי. מאז נהרסו חלקים רבים באנייה, היא העלתה חלודה, ושלוש מקומותיה נקברו מתחת לחולות. כיום היא משמשת אתר תיירות מרכזי באי, אך חל איסור לטפס עליה.

ראשוני המתיישבים האירופאים גילו את איכותם הגבוהה של העצים באי, ומ-1863 החלו לכרות עצים רבים. הונחה מסילת ברזל בתוך היערות כדי להקל על העברת העצים שנכרתו, אך בהמשך היא הוסרה. תעשיית העצים באי המשיכה כמעט 130 שנה, עד שנת 1991, כאשר ממשלת אוסטרליה הגיעה להסכם עם אנשי התעשייה לפיו הכריתות יופסקו. זאת בעקבות מסקנות ועדת החקירה בראשות השופט טוני פיצג'רלד, שהדגישה את חשיבות שימור האי. תוצאות הפגיעה בטבע ובמרקם החיים באי לאורך השנים, עדיין אינן ידועות במלואן.

משאבים נוספים של האי שנוצלו לאורך השנים, היו מינרלים כמו רוטיל, אילמניט, זירקון ומונזיט. מ-1950 החלה גם כריית חול מאסיבית באי, אך גם היא הופסקה בעקבות מאבק ארגונים סביבתיים, ב-1977.

שמו של האי פרייזר נקשר בעשורים האחרונים גם אל נאורו, מדינת אי קטנה באוקיינוס השקט, שעניינה נידון במועצת הנאמנות של האומות המאוחדות בשנות ה-60. בעקבות חציבות נרחבות של זרחה בנאורו, הוצעו לה מספר איים חלופיים באזור במטרה ליישב מחדש את כלל תושביה במקום אחר, וביניהם הוצע גם האי פרייזר ב-1961 על ידי אוסטרליה. אנשי תעשיית העצים באי סיכלו את המשך התהליך, ולבסוף נאורו השיגה עצמאות באי שלה ב-1968.