Построен в 90-х годах XIV века на месте более ранних укреплений XII века, разрушен в XVII веке, восстановлен во второй половине XIX века. В XII веке замок принадлежал сеньорам Пьерфон из Кьерзи. От него сохранились лишь подвальные помещения. В конце XII века он переходит к королю Филиппу Августу и с этого момента становится королевским владением.

Герцог Людовик Орлеанский получил в 1392 году в дар от своего брата — короля Карла VI Пьерфон и герцогство Турень. Окрестности Пьерфона вошли в состав графства Валуа, ставшего герцогством. В 1396 году Людовик начал полную перестройку замка. Архитектор неизвестен, но, возможно, это был Раймон дю Темпль. Позднее работы возглавил королевский архитектор Жан Ле Нуар под наблюдением Жана Обеле. Строительство завершилось уже после убийства (1407) Людовика Орлеанского.

В начале правления Людовика XIII замок принадлежал Франсуа-Ганнибалу д’Эстре (брату прекрасной Габриэль д'Эстре), примкнувшему к партии «недовольных», возглавляемой принцем Конде. В марте 1617 года Пьерфон был осаждён и взят войсками, присланными кардиналом Ришельё. Кардинал приказал разрушить замок, но из-за масштабности сооружения ограничились тем, что срыли внешние укрепления и уничтожили кровлю.