Замок був побудований в стилі готики, у XV столітті, сеньйором д'Юссе з роду де Бюей. У 1460-і роки в замку жили його син Антуан з дружиною Жанною — позашлюбною дочкою Карла VII і Агнеси Сорель. У 1485 році садиба була продана за 40 тис. золотих екю придворному Жаку д'Епіне, який відновив будівельні роботи. Останній камінь був укладений будівельниками в 1538 році.

При Людовику XIV садибою володів тесть знаменитого Вобана, який часто наїжджав у ці краї. Вважається, що саме цей замок Ш. Перро описав у казці «Спляча красуня». До часу Вобана відноситься створення регулярного парку (імовірно, до його проектування доклав руку сам Ленотр).

У XVIII столітті замком володіла родина Роганів. У 1807 р. його придбав герцог де Дюра. При Наполеоні тут таємно збиралися роялісти, що готували відновлення Бурбонів на престолі. Шатобріан на запрошення Клер де Дюра писав у замку «Замогильні записки». З 1885 року замком володіють герцоги де Блакас.

За пропозицією Проспера Меріме замок Юссе був в 1861 році занесений до державного переліку історичних пам'яток Франції.