Bölgedeki ilk Avrupalı yerleşimciler, Baltık Almanlarından olan Kurlandiya ve Semigalya Dükalığı'ydı. Bölgedeki bu yerleşimciler, adayı St. Andrews Adası olarak adlandırdı. İngilizlerin yöreye gelişiyle beraber yerleşimciler Kurlandiya dükü Jacob Kettler'ın adına Jacob adında bir kale inşa ettiler ve burayı bir ticaret merkezi olarak kullandılar. 1659 yılında adayı Hollanda aldı. İki yıl sonra 1661'de de burayı İngiltere aldı. 1664'te ise tüm bölge İngiltere'nin oldu.

İngilizler, adanın ismini “James Adası” olarak değiştirdi ve York Dükü James adına kaleyi “James Kalesi” olarak değiştirdi. Aynı dük sonrasında II. James olarak İngiltere kralı oldu. Bu kale fildişi ve altın ticaretinde önemli bir yer elde etti. Sonrasında ise bölge köle ticaretinde kullanıldı. 1684'te Kraliyet Afrika Birliği bölgede egemen oldu.

1695 yılında ise Fransızlar burayı kuşattı. İngilizlerle yapılan savaşların ardından yenilen Fransa, geri döndü ve 1697'de dönen ordular, 1702'de bölgeyi tekrar kuşattı. Bu dönemde kale yıkıldı ve tekrar tekrar inşa edildi. 13 Haziran 1750'de Afrika'da ticaretle uğraşan tüccarlar Gambiya'nın yönetimini ele geçirdi. 25 Mayıs 1765 - 11 Şubat 1779 döneminde Gambiya, İngiliz Senegambiyası'nın parçası oldu.