Um primeiro castelo foi a sede da dinastia medieval dos viscondes de Peralada, iniciada por Berenguer, filho de Pôncio I, Conde de Ampúrias. Durante a invasão francesa do Empordà, no curso da cruzada contra a Catalunha liderada por Filipe III da França, o castelo e os edifícios próximos foram incendiados e destruídos (1285). Os vestígios desta estrutura original estão na parte superior da cidade.

Um novo castelo foi construído em meados do século 13 fora da linha das novas muralhas. O atual edifício recebeu uma nova fachada renascentista, enquanto o edifício foi ampliado no século XIX.[1]

O palácio foi adquirido em 1923 por Damià Mateu y Bisa, fundador da Hispano-Suiza, que reuniu uma notável coleção de arte (vidro, cerâmica, pinturas, livros, manuscritos) e patrocinada a edição de livros escolares "Biblioteca de Peralada." Hoje, a propriedade ainda é propriedade da família Mateu e não esta aberta ao público. No entanto, em uma parte do castelo é o casino, e os jardins estão abertos em Julho e Agosto, por ocasião do Festival Internacional de Música de Peralada.