З першої половини XV ст. португальці починають здійснювати систематичне дослідження атлантичного узбережжя Західної Африки. У 1469 році португальський король Афонсу V «Африканець» надав лісабонському купцеві Фернану Гомішу права монополії на торгівлю в Гвінейській затоці за щорічну платню в 200 тис. португальських реалів і зобов'язання протягом 5 років досліджувати невідоме Африканське узбережжя по 100 ліг (480 км) щороку.

Вже у 1471 році морська експедиція, споряджена Фернану Гомішем, досягла місцевості, де розташована сучасна Ельміна і виявила тут процвітаючу торгівлю алювіальним (намивним) золотом, що велась тубільцями з арабськими та берберськими торговцями. Португальці також встановили тут власний торгівельний пост, який намагався перебрати торгівлю золотом на себе, і який вони назвали Ель Міна (від порт. mina — копальня).

Прибутки, які давала португальській короні торгівля золотом в Ельміні швидко стали предметом заздрощів іншого іберійського королівства — Кастилії. У 1478 р. (під час Війни за кастильську спадщину) кастильська армада з 35 каравел та португальський флот зійшлися у великій морській битві поблизу Ельміни за контроль над гвінейською торгівлею (золото, раби, слонова кістка та перець малегета). Битва закінчилася цілковитою португальською перемогою. В результаті укладеного Алкасоваського договору, що звершив Війну за кастильську спадщину, суверенітет Португалії над західноафриканськими територіями отримав офіційне визнання від Кастилії.

Для адміністрування і захисту своєї прибуткової торгівлі в Ельміні, у 1481 році португальський король Жуан II наказав збудувати торговельну факторію і фортецю.

З цією метою до африканського узбережжя була відправлена флотилія з 9 каравел і 2 нау (загальна португальська назва для великого корабля, більшого за розмірами за каравелу), на яких розмістилися 600 солдат і близько 100 каменярів і теслярів. У числі інших в експедиції взяли участь майбутні знамениті мореплавці Діогу Кан і Бартоломеу Діаш. Кораблі були завантажені не тільки провіантом і необхідним для мореплавання спорядженням, а й великою кількістю будівельних матеріалів. Начальником флотилії і керівником будівництва був призначений Діогу де Азамбужа.

19 січня 1482 року кораблі прибули в обраний для будівництва район на узбережжі Гвінейської затоки, де відразу ж почалося будівництво фортеці, яка була зведена досить швидко. Уже влітку звідти вирушив у своє перше плавання на південь португальський мореплавець і дослідник Діогу Кан.

Нову фортецю назвали Сан-Жорже да Міна. Вона є найстарішою будівлею, зведеною європейцями в екваторіальній Африці. Після завершення будівництва і встановлення торгових зв'язків з місцевим населенням Діогу де Азамбужа наказав основній частини флотилії повертатися до Португалії, а сам, залишивши при собі близько 60 солдатів, виконував обов'язки коменданта фортеці до 1484 року, після чого також повернувся в Лісабон.

Ельміна стала першою фортецею португальців в Гвінейській затоці і дуже важливим для Португальської колоніальної імперії портом, а також одним із центрів работоргівлі.

Після того, як у 1578 році 24-річний португальський король Себаштіан загинув під час північноафриканської експедиції у битві при Алкасер-Кібирі, іспанський король Філіп ІІ успадкував португальську корону і об'єднав Португалію з Іспанією під владою династії Габсбургів. Це призвело до того, що усі політичні вороги Іспанії, в першу чергу Нідерланди, які боролись з Іспанією за свою незалежність, а також Англія та Франція стали ворогами також і Португалії. Нідерланди розпочали масштабну війну за португальські колоніальні володіння, яку вони провадили руками голландських Вест-Індійської та Ост-Індійської компаній.

В 1625 р. відбулась перша битва за Ельміну між голландцями і португальцями. Голландський десант в кількості 1.200 осіб, доставлений на 15 кораблях був майже повністю винищений португальцями, які залучили собі на допомогу 200 тубільних воїнів. Зокрема, загинув керівник голландського загону і усі його офіцери. Перед тим, як облишити узбережжя, голландці у відчаї обстріляли фортецю, випустивши по ній 2.000 ядер.

Під час другої битви, військова вдача була на стороні голландців. 29 серпня 1637 року фортеця Сан-Жоржи-да-Міна, після п'яти днів опору здалась голландській флотилії під командуванням полковника Ван Койна. На той час португальська залога фортеці налічувала близько сорока чоловік, хворих та погано озброєних.

Голландці зробили Сан-Жоржи-да-Міна столицею голландського Золотого Берегу. Вони перейменували фортецю у Fort de Veer (використовувались також Fort Java, Fort Scomarus and Fort Naglas), зміцнили та розширили її. З того часу Міна перетворилась на центр постачання рабів на американський континент. Інші португальські форти в регіоні також були завойовані в 1642 році з тією ж метою.

В 1871 р. фортеця перейшла до англійців і залишалася в їх руках аж до проголошення незалежності Гани в 1957 році.

У 1979 р. фортеця Ельміна в числі 11 інших прибережних фортець Гани була внесена до списку всесвітньої спадщини за версією ЮНЕСКО.

У 1990-х роках пам'ятник зазнав широкомасштабних заходів з реставрації та консервації, і в даний час відкритий для відвідування туристами.