Su primera fecha documentada es del año 1002 en la donación de tierras al monasterio de San Cugat del Vallés. En el año 1033 se produce el casamiento de Ermessenda de Montsoriu con Guerau de Cabrera, fundadores del monasterio de San Salvador de Breda, centro del vizcondado de Cabrera-Gerona, nombrándose en una donación del año 1053 el castillo de Soriu y cambiando definitivamente el título de vizconde de Gerona por el de Cabrera a partir de Guerau III Ponç (1145-1180). Estando relacionado con la conquista de Mallorca el vizconde Guerau V de Cabrera a las órdenes del rey Jaime I. El cronista real Bernat Desclot, en el año 1285 se refiere sobre el castillo en estos términos:

Fue residencia de los vizcondes de Cabrera, viviendo épocas de gran esplendor cuando dichos señores poseían grandes extensiones de tierras y castillos, que iban aumentando por su fidelidad con los reyes, Pedro IV el Ceremonioso, en 1356, creó para ellos el nuevo condado de Osona. Acusado por la reina Leonor de Sicilia, Bernat II, fue decapitado en Zaragoza en 1364, su hijo Bernat III se levantó en armas contra Pedro IV, la lucha duró hasta la muerte del vizconde y fue su hijo Bernat IV de Cabrera, quien firmó un acuerdo con Pedro IV en 1372 y más tarde otro segundo en 1381, consiguiendo recuperar las posesiones de la familia.

A partir del siglo XV, entra en decadencia por el traslado de residencia de la familia al castillo de Blanes y sobre todo por los estragos de la guerra de los Remensas durante los años 1462/1472.

Por consejo del rey Fernando el Católico, la vizcondesa Ana de Cabrera se casa en 1480 con el primo del rey, Fadrique Enríquez y que por no haber tenido descendencia pasa el vizcondado al sobrino de su marido Luis Enríquez en 1515.

Entre los años 1566/1574, por las grandes deudas acumuladas por los Cabrera se ven obligados a la venta a Francesc de Montcada, conde de Aitana, pasando a distintas familias hasta que en 1757 es de los duques de Medinaceli. Fue ocupado por las tropas francesas durante la Guerra de la Independencia en los años 1808/1814 y más tarde también lo ocupan los militares en la Primera Guerra Carlista (1833/1840).

A partir de 1998 es propiedad del Consejo Comarcal de la Selva.