Nel 1506 iniziarono i lavori di edificazione del nuovo castello, sopra i resti dell'antica fortezza, che si completarono dopo alcuni anni, nel 1515. La sua costruzione iniziò con una prima fase con struttura gotica, che presto fu cambiata per una in stile rinascimentale, simbolo dei nuovi tempi e di una nobiltà più colta, che rompeva con la vecchia tradizione medievale e mostrava lo spirito dei tempi moderni. Così, a fronte dello stile gotico ufficiale adottato da Monarchia e Chiesa, questo castello-palazzo rappresenta un chiaro esempio dello spirito umanista della nobiltà contemporanea, che in Andalusia si individua anche in altri grandi esempi di innovazione architettonica, come il vicino Castillo de La Calahorra della provincia di Granada.

Tra il XIV secolo e la fine del XV secolo, in questo castello risiedette la famiglia Fajardo, quando cessò la linea di successione diretta. Nel corso degli anni seguenti, fu utilizzato come residenza in maniera irregolare, giungendo poi alla sua decadenza nel XIX secolo, quando fu occupato dai Francesi e il paese conobbe mutamenti sociali.

A partire dal 1904, i suoi proprietari iniziarono lo svuotamento dei suoi elementi di valore, tanto che nello stesso anno il patio rinascimentale fu venduto al francese J. Goldberg. Questi lo trasferì dapprima a Marsiglia, quindi a Parigi. Nel 1945, dopo la morte del proprietario successivo, il patio fu ceduto al Metropolitan Museum di New York, dove è tuttora installato e visibile[1].