Në shekullin e 12-të, në këtë vend u ndërtua një kështjellë. Dy shekuj më vonë, në vitin 1392, Mbreti Charles VI e ktheu Kontenë e Valois (pjesë e të cilit ishte Pierrefonds) në Dukat dhe ia dha vëllait të tij Louis, Dukës së Orléans. Nga viti 1393 deri në vdekjen e tij më 1407, ky i fundit e rindërtoi kështjellën nga arkitekti i oborrit, Jean le Noir.

 Pamje e rrënojave para restaurimit të shekullit të 19-të

Në mars 1617, gjatë ditëve të hershme të trazuara të mbretërimit të Louis XIII, kështjella, më pas pronë e François-Annibal d'Estrées (vëllai i bukuroshes Gabrielle d'Estrée), i cili u bashkua me "parti des mécontents" (partia e pakënaqësisë) i udhëhequr nga Henri II, Prince of Condé, u rrethua dhe u kap nga trupat e dërguara nga Richelieu, sekretari i shtetit për luftën. Prishja e tij filloi, por nuk u çua deri në fund për shkak të stërmadhësisë së detyrës. Punimet e jashtme u rrafshuan, çatitë u shkatërruan dhe u bënë vrima në kulla dhe mure perde.

Kështjella mbeti një gërmadhë për më shumë se dy shekuj. Napoleoni I e bleu më 1810 për më pak se 3000 franga. Gjatë shekullit të 19-të, me rizbulimin e trashëgimisë arkitekturore të Mesjetës, ajo u shndërrua në një "rrënojë romantike": në gusht 1832, Louis-Philippe dha një banket atje me rastin e martesës së vajzës së tij Louise me Léopold de Saxe-Cobourg Gotha, mbreti i parë i belgëve. Ndër artistët e tjerë, Corot përshkroi rrënojat në disa vepra midis 1834 dhe 1866. Château de Pierrefonds është klasifikuar si një monument historique nga Ministria Franceze e Kulturës që nga viti 1848.

Louis-Napoléon Bonaparte (më vonë Napoleoni III i Francës) vizitoi kështjellën në vitin 1850. Si perandor, ai i kërkoi Viollet-le-Duc të ndërmerrte restaurimin e saj më 1857, i cili u vazhdua nga Maurice Ouadou dhe më pas Juste Lisch deri më 1885. Nuk bëhej fjalë për një riparim të thjeshtë të pjesëve të banueshme (ruajtjes dhe anekseve): rrënojat "piktoresk" përpara do të ruheshin për dekor. Në vitin 1861, projekti u rrit në shkallë: sovrani donte të krijonte një rezidencë perandorake, kështu që kështjella duhej të rindërtohej tërësisht. Punimet, të cilat do të kushtonin 5 milionë franga, nga të cilat 4 milionë do të vinin nga lista civile, u ndërprenë në vitin 1885, gjashtë vjet pas vdekjes së Viollet-le-Duc. Largimi i Napoleonit III kishte ndërprerë rindërtimin dhe, për shkak të mungesës së parave, dekorimi i dhomave ishte i papërfunduar. Brenda, Viollet-le-Duc prodhoi më shumë një vepër shpikjeje sesa restaurimi (piktura polikrome). Ai imagjinoi se si duhej të ishte kështjella, në vend që ta bazonte punën e tij në historinë e rreptë të ndërtesës. Nga ana tjetër, me pamjen e jashtme ai tregoi një njohuri të shkëlqyer të arkitekturës ushtarake të shekullit të 14-të.