Sarayın bulunduğu yer tarihi bir yer olup, buranın yerleşim alanı olarak kullanılması Bizans dönemine kadar uzanmaktadır. Bu bölgede Bizans döneminde İstavroz Bahçeleri olarak anılan bir koruluk bulunmaktaydı.[1] Bizans döneminde bu bölgeye, 2. Konstantinos’un diktirdiği büyük haçtan ötürü İstavroz (Stavroz) adının verildiği söylenmektedir.[2] Eremya Çelebi Kömürcüyan, bu bölgede Bizans dönemine ait kilise ve bir ayazmanın 17. yüzyılda hala ayakta olduğunu belirtmiştir.

Osmanlı dönemine ait buradaki ilk yapı ise II. Selim’in kızı olan Gevher Sultan’ın sarayıdır. IV. Murad bu sarayda dünyaya gelmiştir. Daha sonra 17. yüzyılda bu bölgede I. Ahmet tarafından Şevkabad Kasrı, III. Ahmet döneminde ise Ferahabad yalısı yaptırılmış, I. Mahmud ise annesi için Ferahfeza Kasrı’nı yaptırmıştır. Bu bölge padişahların hasbahçesi olarak da kullanılmıştır. III. Mustafa döneminde buradaki yapılar yıktırılıp arazisi halka satılmıştır.[3] II. Mahmud daha sonra bu satılan arsaları tekrar geri alıp, 1829 yılında burada bir ahşap saray yaptırmıştır. Bu sarayın 1851 yılında çıkan bir yangın sonucunda bir kısmı yanmıştır. Sultan Abdülmecid’in de içinde olduğu bir sırada yanan saray uğursuz olduğu düşünülerek bir süre kullanılmamıştır. Daha sonra 1861-1865 yılları arasında yanan sarayın yerine Sultan Abdülaziz tarafından bugünkü Beylerbeyi Sarayı yaptırılmıştır. Sarayın mimarı Sarkis Balyan ve kardeşi hassa mimarı Agop Balyan’dır...