Situado al norte de la calle de la Reina, y delimitado por el río Tajo, su realización tuvo lugar en el último cuarto del siglo XVIII con la intención de unificar distintas actuaciones anteriores con nuevos espacios trazados bajo el concepto de jardín paisajista.[1]​ Dichas actuaciones habían sido la organización de unas huertas entre 1553 y 1561 por Jerónimo de Algora y Juan Bautista de Toledo, bajo Felipe II, y la construcción del embarcadero y la calle homónima bajo Fernando VI. Estas actuaciones fueron reestructuradas bajo Carlos III y, finalmente, a partir de una Real Orden de 1772, Carlos IV terminaría los cuatro últimos jardines.[2]​ En su ejecución trabajaron Pablo Boutelou, entre 1775 y 1784, y él mismo y Juan de Villanueva entre 1785 y 1808.[1]​