Castellnou dels Aspres té almenys tres dòlmens dins del seu terme: el Dolmen del Pla de l'Arca, destruït, o del Pla de les Arques, el Dolmen del Roc del Llamp i el Dolmen del Solà dels Clots. A les Teixoneres, al sud-est del terme, prop del límit amb Santa Coloma de Tuïr i Terrats, en una elevació d'accés difícil, van aparèixer nombroses restes d'un hàbitat de la segona Edat de Ferro.

Al Mas Campinyà, a ran d'uns desmunts de terres amb finalitat agrícola van sortir fragments de tegulae i de ceràmica, que, tanmateix, podrien procedir d'un altre jaciment proper, com el dels Sarraïns. D'altra banda, al Mas Aragó van ser trobades dues monedes romanes d'Orient de bronze: un as d'August i un follis de Justinià encunyat a Nicomèdia.

Deixant de banda la zona del Riberal, a la dels Aspres es compten també diversos jaciments més. Un d'ells és al Camp Planer, a prop del centre del terme, al nord-est del poble de Castellnou, on es trobà un hàbitat rural de l'Alt i el Baix Imperi, amb nombroses restes de tota mena. A Perafita, al sud-oest de Castellnou, nombroses restes, entre les quals una bona quantitat de monedes, mostren una ocupació des de la fi de l'època tardorepublicana fins a la fi del Baix Imperi. En canvi, no sembla certa la llegenda existent a Castellnou que parla d'un camp romà al cim del Roc de Mallorca.

El castell, origen del poble, fou construït vers 988-990 en el moment del repartiment dels dominis del Comtat de Cerdanya entre els tres fills primogènits del comte Oliba Cabreta: Bernat Tallaferro, Guifred i Oliba. El lloc actual de Castellnou formava part de l'antic territori de Cameles, i des d'aquell moment esdevingué la capital del nou vescomtat, de primer anomenat de Vallespir. després de Castellnou. Oliba, esmentat el 993, en fou el primer vescomte; aquest Oliba era probablement el setè fill del senyor de Cameles el 941,[1] Ansemund. El segon titular fou Guillem I, fill de Sentill i net de l'anteriorment esmentat Ansemund. Els vescomtes de Castellnou tenien domini sobre un territori bastant extens, el dels castells i llocs de Cameles, Castellnou, Corbera, Croanques, Montferrer, Pontellà, Sant Feliu d'Amunt, Sant Feliu d'Avall, Teulís, als quals el segle xiii es va afegir Ceret.

Ben bé fins entrat el segle xii Castellnou era inclòs dins del territori de la parròquia de Sant Fructuós de Cameles, i l'església de Sant Pere de Castellnou, esmentada el 1021 en el testament del comte Bernat Tallaferro de Besalú, fou dotada d'una comunitat de canonges agustins dependents de Sant Ruf d'Avinyó.

La família de Castellnou fou una de les més importants del Rosselló; el castell va ser pres per assalt el 1276 per Jaume II de Mallorca, ja que Jaspert V de Castellnou era partidari de Pere II de Catalunya-Aragó. El 1293, però, Jaspert V de Castellnou el recuperà, i el va mantenir fins a la seva mort, esdevinguda el 1321. En aquell moment, el vescomtat fou suprimit per Sanç de Mallorca, i el substituí una simple baronia, que va estar en mans d'una branca lateral dels Castellnou, els descendents de Dalmau I de Castellnou, germà de Jaspert. El 1373 el darrer de Castellnou, Berenguer, vengué el títol als Fenollet, vescomtes d'Illa, els quals continuaren utilitzant el títol de vescomte, sobretot quan també obtingueren el vescomtat de Canet.

Ja en època moderna, la baronia passà a mans dels Perellós, els quals la van vendre el 1567 als Llupià, que en foren titulars ja fins a la Revolució Francesa.

El castell fou abandonat amb la Revolució francesa, després d'haver estat saquejat. Va ser restaurat el 1897 i, després de passar per diverses mans, com les del periodista Charles-Emmanuel Brousse, fou comprat el 1981 per una societat privada que, d'aleshores ençà, s'encarrega de la conservació i explotació turística de la fortificació.