Імператор Адріан почав зводити споруду в 134 році як мавзолей (гробницю) для себе й Антоніна Пія[1]. Будівництво було закінчено в 139 році, через рік після смерті імператора. Мавзолей був подібний етруським тумулусам: на квадратному фундаменті (довжина сторони — 84 м) був встановлений циліндр (діаметр — 64 м, висота — близько 20 м), увінчаний насипним горбом, а на його вершині скульптурна група — імператор на чолі квадриги.

Прах Адріана було розміщено в мавзолеї через рік після смерті імператора в Байях у 138 році, разом з прахом його дружини Вібії Сабіни та прийнятого сина Луція Елія Цезаря. Згодом у мавзолеї були розміщені похоронні урни інших імператорів, починаючи з Антоніна Пія та закінчуючи Каракаллою у 217 році. Адріан також звів міст Елія, що вів до мавзолею з правого берегу Тибра. Через 100 років цю величезну споруду включили до побудованих Авреліаном стін, що оточували місто, і її використовували як фортецю у військових і стратегічних цілях.

Згідно з легендою, в 590 році, під час епідемії чуми, папа Григорій I побачив на вершині фортеці архангела Михаїла, який вклав меч у пахви, що означало кінець лиха — тисячолітнього прокляття за гріх бути імперією. Звідси і пішла назва Замок Святого Ангела.

У Середньовіччі замок був з'єднаний з Ватиканом пассетто (проходом), укріпленим коридором. Великий внесок у реставрацію замку, так само як і всієї житлової частини Ватикану, зробив папа Олександр VI Борджіа. Саме при ньому було створено багато настінні і настельні розписи, а також облаштований внутрішній дворик імені папи. У цьому дворику проходили театральні вистави, організовані спеціально для папи Борджіа і його родини, а також час від часу відбувались тортури і страти, при яких папа міг бути присутній особисто. В загальному плані, з епохи Ренесансу і до наших днів вигляд замку і його планування істотно не змінилися.

Ще з часів папи Григорія Великого (VI–VII століття н. е.) замок Сант-Анджело перебував у статусі твердині, неприступної фортеці прямо у Ватикані. Климент VII в 1527 році сховався в замку, коли війська імператора Карла V Габсбурга вторглися в Рим. В облозі замку знаходився в цей час і брав діяльну участь у відбитті атак Бенвенуто Челліні, скульптор, ювелір, автор відомих мемуарів. Декількома роками пізніше він був ув'язнений в замку, але зробив неможливе — втік із в'язниці.