Vers la fin du XIVe siècle, Alphonse d'Aragon et de Foix devenu duc royal de Gandia se fait construire le palais dans le style gothique valencien déjà bien représenté par la Lonja de la seda de Valence. En 1485, Rodrigue Borgia, futur pape Alexandre VI, achète l'édifice pour son fils Pedro Luis de Borja, né en 1458 et qui devient duc de Gandia. Celui-ci fait agrandir l'édifice et le cède à sa mort à son frère Giovanni Borgia (1474-1497). Ce dernier épouse la cousine du roi d'Aragon, María Enríquez de Luna avec qui il a un fils, Jean II de Gandia. Celui-ci épouse Jeanne d'Aragon, fille naturelle d'Alphonse d'Aragon, archevêque de Saragosse. Le couple a pour fils François Borgia, né dans le palais ducal et qui deviendra duc de Gandia et vice-roi de Catalogne, avant d'entrer dans la Compagnie de Jésus.

Le palais ducal connaîtra plusieurs réaménagements au cours des siècles suivants, notamment avec la décoration baroque de la Galerie dorée jusqu'à ce qu'il soit laissé à l'abandon vers 1800. En 1890, lors d'une vente aux enchères, la Compagnie de Jésus en devient propriétaire et y entreprend d'importants travaux de restauration et une nouvelle décoration visant à rendre son lustre à un édifice où avait vécu un de ses membres les plus éminents : la grande chapelle est refaite en style néo-gothique et la marqueterie et le plafond de l'oratoire sont refaits à neuf.

Parmi les pièces à visiter, on remarque surtout le Salon des couronnes (el Saló de Corones), la Galerie dorée (une enfilade de cinq salons en style baroque du début du XVIIIe siècle), la cellule-oratoire de François Borgia avec des grisailles de style Renaissance dues à Filippo de San Leocadio. On peut aussi voir des exemplaires de tuiles en céramique de Manises et leur intégration dans des blasons.