Le prince régent, futur roi George IV, visita d'abord Brighton en 1783 sur les conseils de médecins lui recommandant l'air marin pour soigner sa goutte. En 1786 il loua une ferme dans la région d'Old Steine près de Brighton. Loin de la cour de Londres, le pavillon était aussi un lieu discret pour le prince qui nourrissait une relation avec Mrs Fitzherbert, sa maîtresse de longue date. Le prince aurait aimé l'épouser, et l'a peut-être d'ailleurs même fait secrètement, mais ce mariage était ou aurait été illégal à cause de la confession catholique de sa maîtresse.

Henry Holland fut rapidement chargé de l'agrandissement du bâtiment. Le prince acquit les terrains autour de la propriété, sur lesquels il construisit en 1803 de grandes écuries et des étables dans un style indien selon des dessins de William Por.

Entre 1815 et 1822, John Nash redessina le palais[1]. C'est son travail que l'on peut admirer aujourd'hui. Ce qui est frappant en pleine campagne anglaise est que cet édifice ressemble de l'extérieur à un palais indien, tout comme Sezincote House, que le prince visita en 1807 et dont il choisit de s'inspirer. Cependant la décoration intérieure fantaisiste, originellement conçue par la société de Frederick Crace et Robert Jones, combina les influences chinoise et indienne, avec des éléments architecturaux islamiques et Mogols. C'est l'un des premiers exemples de l'inspiration exotique qui va devenir une alternative au goût majoritairement néoclassique du style Regency[1].