Збудований у 90-х роках XIV століття на місці більш ранніх укріплень XII століття, зруйнований у XVII столітті, відновлений у другій половині XIX століття. У XII столітті замок належав сеньйорам П'єрфон із К'єрзі. Від нього збереглися тільки підвальні приміщення. Наприкінці XII століття замок перейшов до короля Філіппа Августа й із того часу став королівським володінням.

Герцог Людовик Орлеанський отримав у 1392 році в подарунок від свого брата — короля Карла VI — П'єрфон і герцогство Турень. Околиці П'єрфону ввійшли до складу графства Валуа, яке стало герцогством. У 1396 році Людовик розпочав повну перебудову замку. Архітектор невідомий, але, можливо, це був Раймон дю Темпль. Пізніше роботи очолив королівський архітектор Жан Ле Нуар під наглядом Жана Обеле. Будівництво завершилось уже після вбивства Людовика Орлеанського (1407).

На початку правління Людовика XIII замок належав Франсуа-Ганнібалу д'Естре (брату Габріель д'Естре), який приєднався до партії «незадоволених», очолюваної принцом Конде. У березні 1617 року після облоги П'єрфон був узятий військами кардинала Рішельє. Кардинал наказав зруйнувати замок, але через масштабність споруди обмежилися тим, що знищили зовнішні укріплення та дах.