Auf dem Gelände des heutigen Palastes stand bis ins 18. Jahrhundert ein Alcázar, ein maurisches Burgschloss. Ein Feuer am Heiligabend 1734 zerstörte diese von den spanischen Königen genutzte Residenz und schuf die Notwendigkeit für einen Neubau.

Spanien befand sich in einer langen Phase des Niedergangs: Die Einnahmen aus den Kolonien versiegten und der Spanische Erbfolgekrieg destabilisierte das Land. Durch den Krieg waren die Bourbonen an die Macht gekommen und das noch junge Königshaus wollte mit dem Neubau des Palastes seine Stärke demonstrieren. In ganz Europa schmückten sich die Fürsten mit barocken Prunkbauten. Philipp V. wünschte ein dem Escorial der Habsburger ebenbürtiges Gebäude und beauftragte 1734 den Architekten Filippo Juvarra mit der Planung zu beginnen. Juvarra starb jedoch 1736 während der Planungen, weshalb man den italienischen Juvarra-Schüler Giovanni Battista Sacchetti (in Spanien Juan Bautista Sachetti genannt) mit der Fortführung der Planungen und dem Neubau beauftragte.

Da Juvarra einen noch größeren Palast an anderer Stelle vorgeschlagen hatte, musste Sacchetti Umplanungen für einen Bau am Standort des alten Alcázar vornehmen. Da sich die Errichtung der vierflügeligen Anlage bis zur Fertigstellung im Jahr 1764 hinzog, musste Sacchetti ob seines hohen Alters dem jungen Ingenieur Francisco de Sabatini die Arbeiten bis zur Fertigstellung des Palastes übertragen. Sacchetti starb im Jahr der Fertigstellung. König Karl III. bezog mit seiner Familie am 1. Dezember 1764 erste Räumlichkeiten im Neubau am Standort des alten Alcázar.