Il castello aveva un'enorme importanza strategica in quanto permetteva di controllare l'intera baia della città e i territori circostanti. Lungo le sue pendici sono stati trovati numerosi reperti dell'età del Bronzo, iberica e romana, ma le origini del castello risalgono al IX secolo al tempo della dominazione musulmana. Il 4 dicembre 1248 il castello venne catturato dalle forze castigliane guidate da Alfonso di Castiglia e prese il nome di Santa Barbara in onore della santa festeggiata il giorno in cui venne preso. Nel 1296 venne conquistato da Giacomo II di Aragona e passò sotto il dominio della corona di Aragona. Dal XVIII secolo il castello perse gran parte dell'importanza militare e venne usato spesso come prigione, per poi rimanere abbandonato fino al 1963 quando fu aperto al pubblico.