Trước năm 1632 Isolabella chỉ có một ngôi làng đánh cá nhỏ có tên là l’isola inferiore hay isola di sotto [1]. Năm đó Carlo III. Borromeo cho san bằng đồi đá trên đảo để xây một cung điện cho vợ mình, Isabella D'Adda. Từ đó đảo được gọi theo tên bà, Isola Isabella, sau này gọi ngắn lại Isola Bella. Việc xây dựng được giao phó cho kiến trúc sư Milan, Angelo Crivelli, mà cũng là người chịu trách nhiệm cho các vườn cây. Công việc đã phải tạm dừng ở giữa thế kỷ 17, khi bệnh dịch hạch dịch tàn phá công quốc Milan.

Xây dựng lại được tiếp tục khi hòn đảo này được truyền cho con trai của Carlo, Đức Hồng y Giberto III (1615-1672) và Vitaliano VI (1620-1690); nhất là người sau, với sự ủng hộ tài chính của anh trai mình, giao phó việc hoàn thành công trình cho kiến trúc sư Milan Carlo Fontana, biến biệt thự thành một nơi tổ chức những buổi tiệc và nơi trình diễn các buổi kịch lộng lẫy cho giới quý tộc châu Âu.

Việc hoàn thành các khu vườn, tuy nhiên, đã phải để lại cho cháu trai của ông Carlo IV (1657-1734), được khánh thành vào năm 1671.