A primitiva ocupação de seu sítio remonta a uma fortificação muçulmana.

O castelo, em estilo renascentista, foi construído de 1505 a 1515 por iniciativa de Dom Pedro Fajardo y Chacón, e era semelhante ao Castelo de Cuellear, próximo a Segóvia, residência do duque de Albuquerque.

Após 1575, com o falecimento do terceiro marquês de Velez, a família Fajardo preferiu residir em Mula e em Madrid, e o castelo passou a ser utilizado apenas para as férias e as temporadas de caça. Com a extinção da família ao final do século XVII, o castelo passou a ser utilizado apenas esporadicamente, resultando na sua decadência e na da vila de Vélez-Blanco. Foi definitivamente abandonado no início do século XIX, começando a ser desmantelado ao final do século.