El Castellet gran es va construir a l'entorn del 1368, pel mestre d'obres Guillem Guitard per encàrrec de Joan el Caçador, per reemplaçar la porta dita del Vernet que permetia de travessar les muralles, i que la ciutat es pogués comunicar amb el raval o Vila Nova. El nou passatge comportava un pont llevadís, que ja no existeix. La construcció massiva de l'edifici fou la d'una fortalesa per poder resistir qualsevol ofensiva que vingués del nord.

 Vista general des del sud Mare de Déu amb el Nen

L'ocupació breu del Rosselló per Lluís XI va permetre canviar la destinació del Castellet. La fortalesa ja era inútil perquè els conflictes amb França havien acabat amb l'ocupació; per això esdevingué presó d'estat. Les finestres van ser enreixades i el passatge del pont llevadís va ser suprimit. Tanmateix, calia assegurar una sortida de la vila cap al Vernet, així es va juxtaposar el Castellet petit a la bastida primitiva del 1478. Fou el Portal de Nostra Senyora del Pont. Una porta que conserva en l'estil una harmonia amb la resta del monument, tot i que els matacans ens indiquen que fou bastida en una època més tardana.

El 1542, Carles V va fer cobrir el Castellet, al nord, amb un bastió poligonal la punta i el torricó del qual avançaven cap a la Bassa (riu situat al nord). Els obrers van utilitzar els materials provinents de la Capella de Nostra Senyora del Pont, que va ser enderrocada (així com les cases del raval) per raons estratègiques. Arran de la destrucció d'aquesta capella, el Castellet fou posat sota la protecció de Nostra Senyora del Pont i l'estàtua de la Mare de Déu que l'ornamentava fou instal·lada dins de la capella. Més tard, l'estàtua va ser col·locada sobre la façana, en un simple nínxol de pedra practicat al mur (el nínxol còncau, visible encara avui dia, ornamentat amb un enquadrament gòtic, data del 1864).

El 1642, Sébastien Le Prestre, marquès de Vauban, va fer reforçar el bastió poligonal de Carles V i va tornar a posar el Castellet en estat de defensa. Al llarg d'aquest segle també es va construir el cos de guàrdia. Era una obra bastant senzilla (enderrocada el 1843), situada a la planta baixa del costat sud, coberta amb teules. Com indica el seu nom, era el quarter del cos de guàrdia. Un pati que vorejava la paret del Castellet permetia accedir a la porta del monument.

El govern francès el va fer monument històric el 1889.[1]

El 1904, fou enderrocat el recinte fortificat de Perpinyà, però es va respectar el Castellet. Van desaparèixer els suports anb els quals s'unia a les muralles. El bastió, així com el seu torricó, foren dinamitats.

Al segle xx, el Castellet va albergar els Arxius Municipals de la Vila de Perpinyà. Actualment, acull el Museu Català de lrs Arts i Tradicions populars, també anomenat La Casa Pairal.