Namnet Castel Sant'Angelo går tillbaka till påven Gregorius den store, som 590 ledde en procession till Peterskyrkan för att nedkalla gudomligt beskydd mot pesten som vid den tiden härjade i Rom. Påven såg ärkeängeln Mikael på krönet av mausoleet stickande svärdet tillbaka i skidan, och tolkade detta som ett tecken på att farsoten var över.

Hadrianus mausoleum påbörjades år 123 och fullbordades efter hans död av efterträdaren Antoninus Pius 139. Här bisattes medlemmarna av de antoninska och flaviska dynastierna, åtminstone fram till Caracalla (217).

Många påvar har använt borgen som försvarsverk. Nicolaus III lät bygga en 800 meter lång hemlig gång, Passetto di Borgo, mellan borgen och Peterskyrkan. Påven Clemens VII flydde till borgen under Roms skövling i maj 1527, då Karl V:s knektar plundrade staden. Senare byggde Paulus III en bostad i borgen om någon av hans efterträdare skulle behöva söka skydd där. Leo X byggde ett kapell med en madonnabild utförd av Raffaello di Montelupo.

Efter att ha varit bland annat ett fängelse är borgen nu ett museum, Museo Nazionale di Castel Sant'Angelo.

Bron som leder till kastellet, Ponte Sant'Angelo, är utsmyckad med tio änglastatyer av Bernini och hans medhjälpare. Änglarna bär Jesu passionsverktyg.

Borgen är i författaren Dan Browns bästsäljande spänningsroman Änglar och demoner sekten Illuminatis hemliga gömställe. Mera känd torde den dock vara som en av spelplatserna i Giacomo Puccinis opera Tosca.