La historia del lugar se remonta al menos al periodo romano, aunque en el presente no hay señales tangibles disponibles. Situado en el centro de la ciudad de Pembroke es uno de los castillos normandos más impresionantes del Sur de Gales, establecido primariamente en 1093, cuando la conquista normanda de Gales distaba de ser completada. En 1138 se convirtió en propiedad de Gilbert de Clare. Después le fue concedido a Jasper Tudor junto con el ducado, Tudor se trajo a su cuñada viuda al castillo, Margarita Beaufort para dar a luz a su único hijo, el futuro rey Enrique VII de Inglaterra (1457).

La mayoría de los daños se produjeron durante la Guerra civil inglesa, cuando sus propietarios cambiaron de bando en un momento inoportuno. Después de la guerra, Oliver Cromwell animó a los ciudadanos del pueblo a desensamblar la estructura piedra por piedra. En el 2008 se encuentra bajo los cuidados de Cadw y abierto al público.