До 1632 острів Белла, відомий під назвою «нижній острів» (Isola Inferiore, Isola Di Sotto), був лише кам'янистою скелею, де тіснилося малюсіньке рибальське село. Але в 1632 Карло III Борромео почав будівництво палацу, присвяченого його дружині, Ізабеллі д'Адда (Isabella D'Adda), від імені якої острів отримав свою назву. Він доручив роботу міланцю Анджело Крівеллі (Angelo Crivelli), який також відповідав за планування садів. Роботи були перервані близько середини століття, коли Міланське герцогство було вражене руйнівним спалахом чуми.

Будівництво відновилося, коли острів перейшов у власність синів Карло, кардинала Giberto III (1615—1672) і Vitaliano VI (1620—1690); останній, зокрема, за фінансової підтримки свого старшого брата залучив до завершення робіт міланського архітектора Карло Фонтана. Палац перетворився на місце проведення вишуканих бенкетів і театральних подій для шляхетних родин Європи.

Сади були відкриті для перших відвідувань в 1671 році. Завершальні роботи було здійснено його племінником Карло IV (1657—1734).

Острів досягнув найвищого рівня популярності в період Giberto V Борромео (1751—1837), коли гостями були Едуард Гіббон, Наполеон I Бонапарт і його дружина Жозефіна Богарне, Кароліна Брауншвейзька (принцеса Уельська). Кажуть, що Керолайн, закохавшись в це місце, хотіла викупити в сім'ї Борромео острів Мадре або Замки Каннеро. Її прохання було відхилене і вона купує «Літню Віллу» (Villa d'Este) на березі озера Комо в Черноббіо[1].