戈雷岛在历史上以奴隶贸易中心闻名。戈雷岛是欧洲殖民者最早涉足的非洲据点之一，1444年葡萄牙人来到这里，1450年他们在此建立了一个小教堂。此后在葡萄牙人和荷兰人之间几度易手，荷兰人将其命名为胡雷岛，1664年被英国人占领。

1677年，法国人控制了这里一直到1960年塞内加尔独立。在法国人统治时期，戈雷岛是一个重要的贸易站。除了众所周知的奴隶贸易，这里还是蜂蜡、兽皮和粮食贸易的重要枢纽。

约1780至1784年间，一个法非混血商人在这里建立了戈雷岛奴隶城堡，1962年被改建为博物馆[1]。