Berriki eginiko indusketei esker tokia erromatarren garaitik erabili dutela badakigu, k.a. I. mendearen hasieran altxatzen diren zenbait aztarna aurkitu baitute.

Gazteluaren lehen aipamena 1050ekoa da, noiz Besalúko konderriari zegokiola aipatzen den. 1115. urtean, eliza Serrabonako priore-etxeari eman zioten. 1162an, gotorlekua Bartzelonako konderriaren eskuetan zegoen.

Albitarren aurkako Gurutzadaren garaian, Gilen Peyrepertusekoak ez zuen errenditu nahi eta 1224an eskumikatu zuten. Carcasonako setioaren ondorioz, Gilenek, azkenean, men egin zuen, eta gaztelua, frantziar errege jabetzara pasa zen, 1240ko azaroan.

Bi urte beranduago, Frantziako Luis IX.a erregeak omenaldiaren dorrea, eliza eta bere izena daraman eskailera (San Luisen eskailera) berreraikitzea agindu zuen, baita gotorleku berri bat ere, bigarren gaztelu bat, harkaitz-gailurraren goialdean, omenaldiaren dorre berri batekin.

Frantziako Erresumaren eta Aragoiko koroaren arteko gerran, Peyrepertusek paper garrantzitsu bat bete zuen frantziarren hegoaldeko mugaren gotorleku defentsibo eta estrategiko bezala, 1258an Corbeilgo Itunak hala berretsia.

XIV. mendearen erdialdean, Karlos V.a Frantziako erregeak, Naiarako guduan menderatua izan ondoren, Henrike Trastamarakoari bertan babesteko baimena eman zion.