La ville a appartenu à la couronne de Castille jusqu'en 1439 où elle a été cédée à Íñigo López de Mendoza, marquis de Santillana (es). Elle est ensuite passée aux mains d'Alonso I de Fonseca (es), évêque d'Avila et archevêque de Séville, qui a obtenu en 1453 la permission réelle d'édifier le château.

Il nomma pour successeur Alonso de Fonseca y Acevedo (es) qui construisit le château en 1473 et en fit une résidence seigneuriale où il donna de grandes fêtes. Ces fêtes étaient fréquentées par différentes personnalités, entre autres le cardinal français Jean Jouffroy, qui venait en Castille pour proposer le mariage entre l'infante Isabelle (qui régna ensuite) et le duc de Berry de Guyenne, frère de Louis XI de France. Beatriz de Bobadilla, marquise de Moya (es), a aussi visité le château.

En 1504, le château, alors propriété d'Antonio de Fonseca, a été agrandi, notamment au niveau des éléments défensifs. Cela permit de repousser l'attaque du marquis de Cenete (es), qui essayait de s'emparer de sa promise, Marie de Fonseca, qui était retenue par son oncle. En 1521, il fut attaqué par les troupes de comuneros en guise de représailles pour l'incendie de Medina del Campo, déclenché par Antonio de Fonseca ; n'ayant pas réussi à accéder au château, ils détruisirent la forteresse voisine d'Alaejos.

Au XVIIe siècle, Gaspar Pérez de Guzmán, duc de Medina-Sidonia, y fut emprisonné, condamné pour s'être déclaré roi de l'Andalousie. La propriété de l'édifice est passée des Fonseca à la Maison d'Albe. En 1931 il a été déclaré Monument historique national, et en 1954 il a été cédé au ministère de l'Agriculture, avant d'être restauré entre 1956 et 1958 pour héberger l'école de Qualification forestière.