Au XIXe siècle Eugénie de Montijo , qui devint impératrice de France quand elle a épousé Napoléon III, hérite de ce château. Elle ordonne sa restauration qui concerne l'extérieur de la cour, l'escalier principal, les cheminées en plâtre, plusieurs toits. Les travaux durent de 1857 à 1870 et prennent fin avec la chute de l'Empire.

À partir de 1880 l'ex-impératrice autorise les frères prêcheurs, étudiants de philosophie du couvent de Flavigny et du noviciat d’Amiens, qui ne peuvent plus exercer en france après les décrets de 1880, de venir dans le château[1]. Au total, entre 1881 et 1885, 71 frères occupèrent les lieux.