In 1892 kocht de bouwheer Antonio Carvalho Monteiro dos Milhoes, een Braziliaanse handelaar in koffie en edelstenen, het domein om zijn rijkdom te etaleren. De architect Luigi Manini gebruikte de Manuelstijl om de constructie te decoreren. Na de dood van Carvalho werd zijn bibliotheek verkocht. Sinds 1929[1] is deze in het bezit van de Library of Congress te Washington.

Het gebouw werd in 1997 eigendom van de stad, die het domein en de gebouwen restaureerde.