L'une des carrières abandonnées de Portland qui est maintenant devenue un parc de sculptures et une réserve naturelle.

Portland fut habité dès le Mésolithique. Il existe des vestiges de ces habitants du Mésolithique près de Portland Bill (pointe sud de l'île), et de toutes les autres époques depuis cette dernière. L'île fut occupée par les Romains, qui la nommèrent, semble-t-il, Vindelis (il n'existe cependant pas de preuve concernant cette allégation). L'un des auteurs favoris des Anglais Thomas Hardy appelait Portland The Isle of Slingers (l'île des frondeurs), car ses habitants étaient réputés pour la défense de leur île au moyen de leur fameux jets de pierres. Il l'appelait aussi The Gibraltar of the North (la Gibraltar du Nord), pas uniquement à cause de sa position géographique, mais aussi pour son climat plus doux et ses rues qui montent vers l'Underhill.

Portland est décrite dans la Chronique anglo-saxonne ainsi que dans les Annales de St Neots comme le site du premier raid viking sur le sol anglais en l'an 789. Le Portland Castle (en) fut construit par Henri VIII en 1539 à la suite des attaques françaises, sa construction coûta 4 964 £. Le château est l'un des mieux préservés de cette période de l'histoire britannique. Il est administré par l'English Heritage et ouvert au public.

L'île est un ancien Royal Manor, enregistrée comme « possession royale » dans le Domesday Book, et jusqu'au XIXe siècle demeura hors la juridiction administrative du comté. C'est la Couronne qui fit ouvrir nombre des carrières qui font la renommée de Portland. Après le Grand incendie de Londres, en 1666, Christopher Wren utilisa plus de six millions de tonnes de calcaire blanc de Portland pour reconstruire la plus grande partie de la ville, et certains des bâtiments fort célèbres, comme la cathédrale Saint-Paul de Londres et le siège des Nations unies à New York. Après la Première Guerre mondiale une carrière spéciale fut ouverte pour fournir la pierre du Cénotaphe de Whitehall et un demi-million de pierres tombales. Ce sont 800 000 pierres tombales qui en furent extraites après la Seconde Guerre mondiale. La pierre de Portland est toujours utilisée pour rénover et agrandir certains bâtiments prestigieux comme le British Museum.