Fins al 1630 l'Isola Bella era una roca habitada per pescadors, amb dues petites esglésies i uns quants horts. La família Borromeo era propietària de la veïna Isola Madre des del 1501, però no fou fins a principis del segle xvii que Carlo III Borromeo va concentrar els seus interessos a l'Isola Bella, tot iniciant el projecte que conduiria a la creació del palau i el jardí, dedicats a la seva esposa Isabella D'Adda. Per això l'illa va ser anomenada Isola Isabella, que per alteració fonètica va acabar esdevenint l'Isola Bella. Aquest projecte va ser definit, realitzat i ampliat per Vitaliano VI Borromeo, a tots els efectes considerat el fundador de l'Isola Bella, durant el segle xvii, només interromput per una epidèmia de pesta que va assolar el Ducat de Milà. Les obres que van portar a l'actual estat es van succeir sense interrupcions tot al llarg dels segles xviii i xix fins a arribar al 1948, quan Vitaliano IX Borromeo va construir el nou saló, la façana nord i el gran moll.[1]