Το Κάστρο του Ξαβιέ (Βασκικά: Xabierko gaztelua; Ισπανικά: Castillo de Javier) βρίσκεται σε ένα λόφο στην πόλη Xavier (Ναβάρρα, Ισπανία), 52 χλμ ανατολικά της Παμπλόνα και 7 χλμ ανατολικά της Σανγκουέζα. Χτισμένο τον 10ο αιώνα, αυτό το κάστρο ήταν η γενέτειρα και το σπίτι της παιδικής ηλικίας του Αγίου Φραγκίσκου Ξαβιέ, γιου των Λόρδων του Ξαβιέ, εξ ου και το επώνυμό του. Η πόλη του Xavier ανήκε στο Βασίλειο της Ναβάρρας που ήταν πάντα το δικό του βασίλειο, ποτέ δεν ανήκε στη Γαλλία.