Замок был построен в X веке и затем значительно перестраивался в XII, XIII и XV веках. С 1223 года замок принадлежал королю Арагона, а в 1236 году перешёл в собственность короля Наварры[источник не указан 261 день].

В XVI веке замком владел Хуан де Хасо, отец Франциска Ксаверия, христианского миссионера и сооснователя ордена иезуитов. Франциско родился в замке Хавьер 7 апреля 1506 года, но после кастильского завоевания Наварры земли его семьи были конфискованы. В 1516 году замок был практически разрушен по приказу кардинала Сиснероса, в то время регента Кастилии[источник не указан 261 день].