A primitiva ocupação de seu sítio remonta a um castro dos Iberos, posteriormente fortificado quando da Invasão romana da Península Ibérica.

A edificação da actual estrutura remonta à ocupação muçulmana, por volta do ano de 760, quando integrava o Emirado de Córdoba. Participou da rebelião dos iemenitas (tribos muçulmanas) contra o domínio de Abderramão I, primeiro emir Omíada da cidade de Córdoba, que os derrotou próximo às portas do castelo. Com a decadência do Califado de Córdoba, iniciadas as lutas entre os reinos de Toledo e Sevilha, à época da Reconquista cristã da península, foi tomado por Fernando III de Leão e Castela, o Santo, em 1240. Em mãos dos cristãos, ao longo dos séculos, foi submetido a diversas reparações e ampliações.

Tanto Pedro I de Castela, o Cruel, como Henrique II de Castela, o Bastardo, usaram as suas instalações não apenas como residência real esporádica, mas também como cárcere para os seus prisioneiros, assim como lugar seguro para depositar os seus tesouros.

O castelo integrou os domínios da Ordem de Calatrava. Em 1629, a vila, o seu termo e o castelo, foram vendidos por Felipe IV de Espanha a D. Francisco De Corral y Guzmán, cavaleiro da Ordem de Santiago.

A partir do século XV, concluída a Reconquista da península, perdida a sua função defensiva, o castelo começou a deteriorar-se progressivamente, a ponto de quase desaparecer.

Entre os anos de 1903 e 1911, o seu proprietário, Rafael Demaissieres, conde de Torralva, iniciou uma vasta campanha de reconstrução do castelo. Trabalhos complementares estenderam-se até à eclosão da Guerra Civil Espanhola, contexto em que o mesmo veio a sofrer danos.

Encontra-se protegido pela Declaração genérica do Decreto de 22 de Abril de 1949, e da Lei n° 16/1985 sobre o Património Histórico Espanhol. No ano de 1993 a Junta de Andalucía outorgou o reconhecimento especial aos castelos da Comunidade Autónoma de Andalucía.

Actualmente ainda em mãos particulares, encontra-se aberto ao público, diariamente, com visitas guiadas.