Una prima fortezza fu probabilmente costruita nell'XI secolo, quando Jerez faceva parte del regno della taifa di Arcos de la Frontera, in un sito abitato fin dalla preistoria nell'angolo sud-orientale della città. Nel XII secolo venne eretta una nuova struttura per essere utilizzata sia come residenza sia come fortezza dai governanti almohadi della Spagna meridionale. Più tardi, dopo la Reconquista dell'Andalusia, fu la sede dei primi sindaci cristiani.

La fortezza include:

una grossolana cinta muraria quadrangolare lunga circa quattro chilometri la torre ottagonale in stile Almohad la torre di Ponce de León (XIV secolo), annessa al mastio la moschea, l'unica rimasta delle diciotto moschee una volta presenti in città. Dopo la conquista cristiana della fortezza nel 1261, venne affidata a Nuño González de Lara e successivamente convertita in una chiesa dedicata alla Vergine Maria da Re Alfonso X di Castiglia. Il minareto, ancora esistente, è stato trasformato in campanile. La sala di preghiera, preceduta da una piccola stanza per le abluzioni rituali, dispone di un miḥrāb, che indica la direzione verso la Mecca, e una volta a crociera con una finestra circolare in alto. il Palazzo del Patio de Doña Blanca, risalente alla struttura islamica del XII secolo, che in origine era un padiglione per il tempo libero i bagni: includono una zona di ingresso per spogliarsi, che porta alle sale fredde e tiepide, quest'ultime le più grandi del complesso. La sala finale è la camera calda, il cui sistema di riscaldamento è ancora parzialmente visibile.