El Castell de Cabrera és una fortificació a l'illa de Cabrera, actualment és una sòlida mola hexagonal, lleugerament allargada, situada sobre la punta oriental de l'entrada al seu port natural, a una altitud de 72 metres sobre el nivell del mar. Els successius atacs que ha patit al llarg de la seva història fan pensar que té poc a veure amb la construcció original. Només al segle xvi el castell fou destruït i reconstruït almenys en deu ocasions. A més de guarnició militar, ha estat de torre de quarantena i presidi.

El perill de fer de torrer a Cabrera, on les possibilitats de retirada en cas de perill eren mínimes, feia que el salari que s'hi assignava fos el més alt de les Balears, i que sovint els seus guardes fossin condemnats que commutaven així la seva condemna.

La primera referència data de 1410, quan els torrers Pere i Guillem Saragossa, reclamen el pagament íntegre del seu salari al Virrei de Mallorca, per la qual cosa en aquella data ja estava operatiu i se suposa que es va construir en la darrera meitat del segle xiv, és possible que aleshores no hagués sigut molt més que una torre de vigilància.

L'any 1425, els propietari útil de Cabrera, Bernat Saragossa, en nom seu i del Paborde de Tarragona, signava un acord amb la Universitat de la Ciutat i Regne de Mallorca per mantenir una guarnició per defensar l'illa i el Castell de Cabrera, acabat de construir, cosa que fa pensar en una ampliació de la torre original.

L'any 1510 dues galeres berberesques atacaren cabrera, captivaren els torrers i vint-i-dos pescadors i destruïren la torre, un sobtat temporal permeté l'arribada d'ajut, que alliberà els captius.

El 1550, Dragut, al front de 1500 turcs, va prendre l'illa, s'apoderà de l'artilleria del castell i enderrocà totalment l'edifici. Després, al mateix segle s'hi bastí una capella on els clergues de Santanyí hi anaven dir missa per a la guarnició. L'any 1698, després de ser novament restaurat i millorat, el castell passà a estar sota l'autoritat de la Universitat de Mallorca.

El 1715, en el context de la Guerra de Successió n'era governador el militar Francisco Mariscal, al front d'una guarnició d'una vintena de soldats, i tenia encomanada la vigilància de possibles incursions borbòniques, en aquest context, es realitzà foc artiller des de la fortalesa per darrera vegada. A partir de 1716, el castell restà sota l'autoritat reial.

Fa pocs anys el castell fou objecte d'una restauració no gaire afortunada.