Замок Юссе в 1699 году. Гравюра Луи Будана  (англ.) (рус.

Замок был построен на исходе эры готики, в XV веке, сеньором д’Юссе из рода де Бюэй. В 1460-е годы в замке жили его сын Антуан с супругой Жанной — внебрачной дочерью Карла VII и Аньес Сорель. В 1485 году усадьба была продана за 40 000 золотых экю придворному Жаку д’Эпинэ, возобновившему строительные работы. Последний камень был уложен строителями в 1538 году.

При Людовике XIV усадьбой владел тесть знаменитого Вобана, который часто наезжал в эти края. Считается, что именно этот замок Шарль Перро описал в сказке «Спящая красавица». Ко времени Вобана относится создание регулярного парка (предположительно, к его проектированию приложил руку сам Андре Ленотр).

В XVIII веке замком владел дом Роганов. В 1807 году его приобрёл герцог де Дюра. При Наполеоне здесь тайно собирались роялисты, готовившие восстановление Бурбонов на престоле. Шатобриан по приглашению Клер де Дюра писал в замке «Замогильные записки». С 1885 года замком владеют герцоги де Блакас.

По предложению Проспера Мериме замок Юссе был в 1861 году занесён в государственный перечень исторических памятников Франции.