在1632年之前，该岛称为“下岛”（“l’isola inferiore”或“isola di sotto”）[1]是一个被一个小渔村占据的岩石峭壁。有影响力的博罗梅奥家族的卡洛三世为他的妻子伊莎贝拉·达达（Isabella D'Adda）在岛上建造一座宫殿，此后该岛因她得名。他委托米兰人安杰洛·克里维利建造宫殿，并且负责规划花园。当米兰公国遭到腺鼠疫的毁灭性爆发袭击时，工程在这个世纪中叶中断。

当该岛传给卡洛的儿子吉伯托三世枢机 (1615–1672) 和维塔利亚诺六世 (1620–1690)后，建造工作得以恢复；尤其是后者，在他哥哥的经济支持下，委托米兰建筑师卡洛·丰塔纳完成建筑，将别墅变成了欧洲贵族举办奢华派对和戏剧活动的场所。

然而，花园的完工留给了他的侄子卡洛四世(1657–1734)，最终在1671年落成。

该岛在吉伯托五世时代（1751-1837年）取得了最高水平的社交成功，当时客人包括爱德华·吉本、拿破仑和他的妻子约瑟芬·德·博阿尔内，以及威尔士王妃不伦瑞克的卡罗琳。据说卡罗琳爱上了这个地方，竭尽全力说服博罗梅奥家族将母亲岛或坎内罗城堡岛出售给她；她的请求遭到拒绝，她在科莫湖岸边切尔诺比奥的埃斯特别墅定居。

1935年4月，意大利、法国和英国的高级代表在美丽岛宫殿举行了一次会议，达成了被称为斯特雷萨阵线的协议。