El castillo de Peralada, mencionado ya en el siglo IX con el nombre de castillo Tolón, fue el centro del condado de Perelada.

La dinastía de los vizcondes de Perelada se inició con Berenguer, hijo del conde Ponce I de Ampurias, que al morir su padre se convirtió en señor de Perelada. Más tarde, los vizcondes llevaron los apellidos de Quermançó y Rocabertí. En 1285, durante la invasión francesa del Ampurdán, durante la Cruzada contra Cataluña de Felipe el Atrevido, el castillo fue destruido y la población incendiada. Los restos de este primitivo castillo y de la iglesia parroquial de San Martín están en la parte superior del casco urbano.

A mediados del siglo XIV fue construido un segundo y nuevo recinto de murallas, más amplio, y el nuevo palacio de los Rocabertí levantó extramuros. En 1472, durante la guerra de los Remences, el rey Juan II volvió a invadir y ocupar el castillo y años después, en 1599, el vizconde Francesc Jofre de Rocabertí fue investido conde de Perelada por Felipe III de España.

Ha sido objeto de varias reformas y ampliaciones, la fachada oriental es de estilo renacentista y al final del siglo XIX fue nuevamente ampliado, bajo la dirección del arquitecto francés Grant. Lo rodea un gran jardín.

El palacio fue adquirido en 1923 por Damià Mateu, que reunió una notable colección de arte (cristales, cerámica, pintura, libros, manuscritos) y patrocinó la edición de libros eruditos «Biblioteca de Peralada». Hoy, la propiedad sigue en manos de la familia Mateu y es la sede de una bodega de vinos, por lo que no se puede visitar en su totalidad. Sin embargo, en una parte del castillo se encuentra el casino, y los jardines permanecen abiertos en julio y agosto con motivo del Festival Internacional de Música de Peralada.