Le nom Beylerbey, le « bey des beys » ou gouverneur général en turc, provient du titre porté par Mehmet Paşa qui y fait construire une maison à l'écart du centre ville de l'actuelle Istanbul. Les sultans ottomans le suivent et font à leur tour construire plusieurs maisons. Enfin, en 1829, le sultan Mahmoud II fait construire un palais de bois (konak) au bord de la rive du Bosphore. Mais celui-ci est détruit par un incendie.

En remplacement, le sultan Abdulaziz ordonne la réalisation de l'actuel palais de Beylerbey pour servir de résidence d'été ou d'accueil des visites de chefs d'État. L'architecte Sarkis Balyan (1835-1899) conçoit le palais dans un style baroque français. Plus sobre que les palais de Dolmabahçe ou de Küçüksu construits avant lui, il est construit entre 1861 et 1865. En 1869, l'impératrice Eugénie, épouse de Napoléon III, visite le palais sur le chemin du canal de Suez mais elle reçoit une gifle de la mère du sultan car elle ose pénétrer dans le palais alors qu'il lui tient le bras[réf. nécessaire]. D'autres visiteurs de marque visitent le palais, notamment le duc et la duchesse de Windsor.

Après avoir été déposé, le sultan Abdulhamid II reste en captivité au palais à partir de 1912 jusqu'à sa mort en 1918.