Outra vista do castelo, com a Basílica de Xavier, do século XIX, que a ele está anexa.

O castelo remonta a uma fortificação muçulmana do século X, em torno do qual se desenvolveu a povoação.

Após a Reconquista cristã da região, o castelo e a povoação foram confiscados por Sancho VII de Navarra por volta de 1223 a um nobre aragonês, que havia dado esses domínios como garantia de um empréstimo de 9 000 soldos, que lhe havia sido concedido pelo monarca de Navarra. Sem conseguir arcar com o pagamento devido, no prazo acordado, passaram à posse daquele monarca. Não seria a primeira vez e nem a última, uma vez que Sancho VII foi um dos grandes financiadores da Coroa de Aragão e, graças a diversos empréstimos não honrados, assenhoreou-se de uma série de vilas e castelos, entregues como aval, que o auxiliaram a reforçar as suas fronteiras com Aragão, a saber: Escó, Peña, Petilla, Gallur, Trasmoz, Sádaba e outros.

Em 1236 o castelo foi entregue pelo Teobaldo I de Navarra a D. Adán de Sada.

Quando da anexação da Alta Navarra (Navarra peninsular) à Espanha, sob o reinado de Fernando, o Católico, na sequência da invasão castelhano-aragonesa de 1512 pelas tropas de Fadrique Álvarez de Toledo y Enríquez de Quiñones, 2° duque de Alba, o cardeal Cisneros ordenou, por decreto, a destruição das torres de todos os castelos de Navarra.

Devido ao facto de que a família de Juan de Jaso, então senhora do mesmo, defendera a independência do reino de Navarra, o cardeal Cisneros ordenou a completa demolição do castelo em 1516, ainda que apenas tenha sido realizada a demolição de sua parte fortificada,[1] a saber:

 Armas dos senhores de Xavier, hoje utilizadas pela vila.toda a muralha que o rodeava, encimada por ameias e seteiras; atulhamento do fosso, nivelando-se o terreno circundante; demolição dos portões de armas; demolição das torres de planta circular; demolição da ponte levadiça e, dentro das muralhas, do jardim e da casa dos coelhos; rebaixamento, à metade da altura, da torre de menagem (ou de São Miguel).

Após sucessivas heranças, o castelo e a povoação passaram ao domínio da Casa de Villahermosa.

Ao final do século XIX, o castelo estava praticamente em ruínas e, por iniciativa dos seus proprietários, Maria del Cármen de Aragón-Azlor y Idiáquez, duquesa de Villahermosa, e seu esposo José Manuel de Goyeneche, conde de Guaqui, foram iniciadas obras de restauração.

O súbito falecimento, sem descendência, do conde de Guaqui (1893) fez perigar a continuação das obras por falta de fundos. Entretanto, os irmãos do conde, o marquês de Villafuerte, as duquesas de Goyeneche y Gamio e D. José Sebastián de Goyeneche, mediante escrituras passadas em cartório, a 30 de Abril de 1894 e a 9 de Março de 1895, acordaram em reconhecer à duquesa de Villahermosa o usufruto vitalício de toda a herança de seu marido, para assim poder fazer frente aos gastos das obras já iniciadas. Dada a envergadura das obras, todos os irmãos do falecido conde também participaram com fundos próprios para a restauração do castelo, a edificação de uma Basílica a ele adosada, e de moradias para sacerdotes e casas de exercícios.

Já em princípios do século XX, a duquesa de Villahermosa doou o imóvel e a Basílica à Companhia de Jesus com a condição de que os mantivesse tal como os entregou. Na cripta da Basílica descansam os restos dos que contribuíram para as obras de reconstrução do castelo e de construção da Basílica: a duquesa de Villahermosa, seu esposo, o conde de Guaqui, e os irmãos María Josefa (duquesa de Goyeneche), Carmen (duquesa de Gamio) e José Sebastián de Goyeneche y Gamio (fundador da Fundação Goyeneche).