Mellem 1530 og begyndelsen af 1600-tallet var Red Bay, dengang kendt som "Balea Baya" ("Hvalbugten"), centrum for baskiske hvaloperationer. 15 fartøjer og 600 søfolk fra det sydlige Frankrig og det nordlige Spanien drog hver sæson til den fjerntliggende udpost i Belle Isle-strædet i forsøget på at fange nordkapere og grønlandshvaler, der levede i dette område, ifølge Memorial University of Newfoundland.

I 1565 sank en galeon, muligvis San Juan, under en storm i farvandet ud for Red Bay, tæt på Saddle Island. Skibet blev opdaget i 1978. Der er også fundet andre, mindre fartøjer, som chalupaer på stedet, og i 2004 fandt man yderligere en galeon.

På Saddle Island findes en kirkegård, hvor der er fundet skeletdele af 140 hvalfangere. Mange af dem formodes at være druknet eller døde på anden måde som følge af naturens luner.

Opgivelsen af hvalfangsten havde flere årsager, herunder nedgang i bestanden og behov for flest mulige fartøjer til den spanske armada.[1] I dag findes et besøgscenter, der illustrerer denne del af historien.[2]

Under anden verdenskrig blev bugten anvendt som fortøjningssted for allierede fartøjer, der nød godt af stedets naturlige beskyttelse.

Red Bay blev udnævnt til nationalt historisk mindesmærke i 1979, inden det i 2013 kom på UNESCO's Verdensarvsliste.