Risalente al 1093, quando la conquista normanna della regione non era stata ancora completata, il castello è circondato su tre lati dal fiume Cleddau. Testimonianze tangibili fanno risalire la sua storia al periodo romano.

Il re Stefano d'Inghilterra lo concesse a Gilberto di Clare, primo conte di Pembroke, a cui successe il figlio Riccardo, soprannominato strongbow, arco forte. Riccardo sposò la ricca Eva MacMurrough di Leinster figlia dell'irlandese Dermot re di Leinster e proprietaria di immensi possedimenti.

Dalla coppia nacque Isabella che, diciassettenne, fu data in sposa a Guglielmo il Maresciallo, al quale re Giovanni Senza Terra concesse il titolo di conte di Pembroke, dando luogo così alla nuova linea dinastica dei Maresciallo conti di Pembroke. Guglielmo infatti aveva aiutato il re nella lotta per la conquista del trono in contrapposizione al nipote Arturo, uscito perdente dalla contesa. Guglielmo, ritenuto dai suoi contemporanei il "migliore cavaliere del mondo", fu dopo la morte di Giovanni Senza Terra nel 1216, l'uomo più potente d'Inghilterra oltre che uno dei più ricchi. Fu tutore del giovane Enrico III d'Inghilterra e reggente del Regno fino al 1219, anno in cui morì.

Nel XV secolo il castello di Pembroke fu concesso col relativo titolo nobiliare a Gaspare Tudor il quale vi ospitò la cognata Margherita Beaufort, che tra le sue mura diede alla luce il suo unico figlio, il futuro Enrico VII d'Inghilterra.

Il castello subì enormi danni, durante la guerra civile inglese, alla fine della quale Oliver Cromwell spinse la gente del luogo a smontarne la struttura pietra su pietra.