在史前时代，黑尔戈兰島即有人类居住的痕迹。697年，弗里西亚国王在被法兰克人击败后退踞该岛。1231年，黑尔戈兰島成为丹麦国王瓦尔德马二世的领地。此后该岛所有权在丹麦国王与荷尔斯泰因公國之间多次易手，期间还曾被汉堡和汉萨同盟占据过一段时间。1714年，丹麦出兵夺得了黑尔戈兰島。

拿破仑战争期间，黑尔戈兰島在1807年被英国皇家海军占领，成为向欧洲大陆进行走私和间谍渗透的基地。在英国占据期间，黑尔戈兰島逐渐成为一个度假胜地，许多来自德国和奥地利的文人作者前往岛上居住，以逃避后两国严厉的文字审查制度。1830年和1848年，黑尔戈兰島还成为德国革命者的避难所。德国国歌的歌词就是奥古斯特·海因利希·霍夫曼·冯·法勒斯雷本1841年在黑尔戈兰島度假時写出的。

1890年，英国将黑尔戈兰島转让给德国，以换取东非的桑给巴尔岛。德国海军领袖提尔皮茨在黑尔戈兰島的南端修建了防波堤，将其改建为一处可供轻巡洋舰停泊的海军基地。

第一次世界大战期间，英国皇家海军的战列巡洋舰分队对黑尔戈兰島进行了猛烈的炮轰。一战结束后，法国曾提议让澳大利亚接管这个岛屿，但是岛上的防波堤和防御工事都被炸毁之后，英国最终放弃了对该岛的要求。

两次世界大战之间，黑尔戈兰島成为旅游胜地。维尔纳·海森堡在岛上度假期间发展出了他的量子理论。

纳粹党上台后，重新修复了黑尔戈兰島上的岸炮阵地、地堡和其他防御工事。1939年12月3日，黑尔戈兰島成为二战中盟军轰炸的第一块德国土地。

1944年10月15日，英国皇家空军出动飞机对黑尔戈兰島进行了相当猛烈的空袭，1945年4月18日英国的另一次空袭出动了上千架轰炸机，将黑尔戈兰島上的所有地面建筑全部炸毁。岛上有128人在空袭中丧生，全部是防空部队成员。次日德国海军悄悄撤出了黑尔戈兰島上的全部幸存居民。

第二次世界大战结束后，英国保守党领袖安东尼·艾登提出将黑尔戈兰島移交给英国，在岛上建设海空军基地，将其改成监视威廉港、库克斯港、埃姆登、汉堡等德国重要军港、控制基尔运河西出口的前哨。但是当时执政的英国工党政府反对大英帝国的任何领土扩张。在确信无法获得黑尔戈兰島之后，1947年4月18日，英国海军向该岛运去6800吨炸药，试图将这个小岛完全炸毁。这次爆炸虽然没能完全抹掉黑尔戈兰島，但却炸飞了岛的南端，并完全改变了该岛的形状，使其面积从1.27平方公里减为1平方公里。《吉尼斯世界纪录》将这次爆炸列为“世界上规模最大的常规爆破”。

无人居住的黑尔戈兰島此后一直作为英国皇家空军的轰炸训练靶场。疏散到德国本土的黑尔戈兰島民举行了一系列示威，要求返回家乡。1952年3月1日，英國正式將黑尔戈兰島的主权归还给联邦德国。