George Boldt, directeur général du Waldorf-Astoria de New York et gérant de l'hôtel Bellevue-Stratford de Philadelphie, et sa famille avaient auparavant apprécié un cottage sur Heart Island (nom original de l'île) durant plusieurs étés, et l'avaient considérablement développé. En 1900, les Boldt lancèrent une ambitieuse campagne de construction afin de bâtir un bâtiment gigantesque, une des plus grandes maisons privées d'Amérique. Ils engagèrent le cabinet d'architecture G. W. & W. D. Hewitt et des centaines d'ouvriers pour un "Château" de six étages, un monument international important. En outre, quatre autres bâtiments en maçonnerie sur l'île sont remarquables architecturalement. Tout aussi caractéristique, l'immense abri pour yachts sur une île voisine où les Boldt avaient un autre pavillon d'été et une vaste propriété, dont des fermes, des canaux, un parcours de golf, des courts de tennis, des écuries et un terrain de polo.

La construction du château de Boldt cessa brusquement au début de l'année 1904 après la mort de l'épouse de Boldt, Louise Kehrer Boldt. Durant 73 ans, le château et les autres bâtiments de pierre ont été abandonnés exposés à l'hiver rigoureux et aux vandales occasionnels[1]. L'administration du pont des Milles-Îles acquit Heart Island et le proche abri pour yachts en 1977[1], pour un dollar, en vertu de l'accord que tous les revenus provenant de l'exploitation du château seraient réservés à la restauration, afin que l'île soit préservée pour la jouissance des générations futures. Dans les deux décennies qui suivirent l'acquisition de la propriété, l'Administration du Pont des Milles-Îles y dépensa quelque 15 millions de dollars pour la restauration et des améliorations, et les travaux se poursuivirent chaque année. L'objectif initial de la restauration de Heart Island n'était pas de terminer ce qui n'avait pas été fini, mais de restaurer l'île jusqu'à l'état où elle était à l'arrêt de la construction. Les améliorations ont dépassé ce stade, ainsi un dôme de vitraux, un sol en marbre et les boiseries du grand escalier, par exemple, maintenant visibles dans le hall principal, n'y étaient pas à l'origine mais sont des innovations contemporaines.