La forteresse et le bourg de Xavier sont gagnés par Sanche VII de Navarre vers l'an 1223. Un noble aragonais les avait donnés comme garantie pour un prêt de 9 000 sueldos[1] que lui a fait le monarque navarrais. Le délai étant dépassé sans que le remboursement n’ait été fait, ils deviennent propriété de Sancho. Ce n'est pas la première fois, et ce ne sera pas la dernière, car Sancho VII est un des grands prêteurs de la couronne d'Aragon. Grâce aux prêts non remboursés, il acquiert une série de bourgs et châteaux livrés comme gages qui l'ont aidé à renforcer ses frontières avec l'Aragon : Escó, Peña, Petilla de Aragón, Gallur, Trasmoz, Sádaba, etc.

À la mort de Sanche, en 1236, le château passe entre les mains de Thibaut Ier de Navarre. Une de ses descendantes, se marie avec Martin de Azpilcueta. Plusieurs générations plus tard, Marie de Azpilcueta, la mère de François-Xavier, apporte le château de Xavier en dot à mariage avec Juan de Jassu[2], président du conseil de Navarre.

Lorsque la Navarre est annexée par la Castille en 1512, Michel et Jean de Jassu, frères aînés de François-Xavier, luttent avec Catherine de Foix et Jean d’Albret contre l’armée de Castille. La défaite des Navarrais entraîne la chute du château de Xavier. Juan de Jassu meurt en 1515.

La Navarre conquise, et puisque la famille de Juan de Jassu défendait l'indépendance du royaume, le Cardinal Cisneros ordonne la démolition complète du château en 1516. En fait il est redimensionné : de forteresse il devient large résidence seigneuriale. Les fossés sont comblés. Les deux tours de garde sont démolies, de même que les deux portails. Le pont-levis est enlevé et la tour de San Miguel est réduite de moitié.