Indtil 1632 er øen benævnt ved det lidet flatterende navn, l’Isola Inferiore (Den inferiøre Ø), som blot afspejler dens manglende betydning i forhold til dens naboø mod nord, Isola dei Pescatori, der allerede dengang rummede en lille fiskerlandsby. Isola Bella var dengang blot et stenrev, der stak op gennem søens overflade, indtil Grev Carlo III fra den indflydelsesrige Borromeo-familie begyndte en total omforandring af øen og gav den sit nuværende navn, Isola Bella, opkaldt efter han hustru, grevinde Isabella d'Adda Borromeo.

Som nævnt var Isola Bella oprindeligt en stor nøgen klippe, som efter forbedringer, udvidelser og bebyggelse blev taget i brug af greve Carlo III. I 1652 havde hans søn, Vitaliano d. 6., overtaget øen og dens bebyggelser, og han ændrede den til et attraktivt sommerpalads. Ved at tilføre store mængder muldjord blev øens parkanlæg opbygget med et system af i alt 10 terrasser[1].

De mondæne omgivelser virkede som en magnet på datidens jetset, og øen blev stedet for koncerter og teateroplevelser for Europas notabiliteter. Gæster som fx den britiske historiker Edward Gibbon, Napoleon og hans hustru Joséphine de Beauharnais samt Prinsessen af Wales var at se på øen.