Pierwsze umocnienia w postaci nasypów ziemnych powstały tu po 1094 roku, wkrótce po zdobyciu Pembroke przez Rogera de Montgomery. Ich konstrukcję przypisuje się jego synowi, Arnulfowi. Od 1138 roku zamek należał do hrabiów Pembroke. Król Henryk II zatrzymał się tu w 1171 roku w drodze na podbój Irlandii, a także rok później podczas powrotu do Anglii. Rozbudowy zamku, już jako budowli z kamienia, podjął się William Marshal, który przybył tu prawdopodobnie w 1204 roku. Z tego okresu pochodzą zachowany do czasów obecnych okrągły donżon o czterech kondygnacjach i wysokości 24,5 m oraz mury wokół wewnętrznego dziedzińca. Po jego śmierci w 1219 roku prace budowlane kontynuowali jego synowie – William (zm. 1231), Richard (zm. 1234), Gilbert (zm. 1241) i Walter (zm. 1245). Brama warowna i mury zewnętrzne prawdopodobnie wzniesione zostały w latach 1265–1296, za czasów Williama de Valence[1].

W 1457 roku na zamku, należącym wówczas do Jaspera Tudora, urodził się przyszły król Anglii Henryk VII, który przebywał na nim do 1471 roku. Podczas I angielskiej wojny domowej (1642–1646) zamek znajdował się w rękach parlamentarzystów. W 1648 roku, podczas II wojny domowej, dowódcy zamku opowiedzieli się po stronie rojalistów, w następstwie czego zamek obległ Oliver Cromwell. Po zdobyciu fortecy nakazał on jej rozbiórkę[1].

Zamek pozostawał w ruinie do lat 1880–1883, kiedy to przeprowadzono jego częściową odbudowę[1]. Pełna renowacja przeprowadzona została z inicjatywy Ivora Philippsa, generała w stanie spoczynku, po nabyciu przez niego zamku w 1928 roku. Od 1969 roku zamkiem zarządza organizacja Pembroke Castle Trust. Otwarty jest on dla zwiedzających[2].

W 1951 roku zamek wpisany został do rejestru zabytkowych budynków jako obiekt klasy I (Grade I listed building)[1]. Znajduje się też na liście zabytków archeologicznych (Scheduled monument)[3].