Como el resto de las obras del Bosco, carece de datación unánime entre los especialistas, siendo una de aquellas en las que más enfrentadas están las posiciones. Mientras unos la consideran juvenil, otros dicen que es obra de madurez. Baldass y otros, la sitúan en la época juvenil del Bosco (1485).[1]​ Cinotti, la sitúa en torno al año 1503. Otras fuentes hablan de hacia 1510.[2]​ Tolnay y Larsen, la emplaza al final de la actividad del Bosco (1514-1515). Los análisis dendrocronológicos del roble de las tablas lo datan entre 1460 y 1466, dando así un terminus post quem para la realización de la obra.[3]​ En el catálogo de la exposición sobre el artista, celebrada en Róterdam en el año 2001, se señala la fecha entre 1480 y 1490.[1]​ En la guía de visita editada por el Museo del Prado se señalan las fechas 1500-1505.

A partir de Gibson y hasta la actualidad (Hans Belting, 2002), se ha conjeturado que se realizó para Enrique III de Nassau-Breda.[1]​ Los primeros poseedores de la obra fueron, pues, los miembros de la casa de Nassau, en cuyo palacio de Bruselas pudo ver el cuadro el primer biógrafo del Bosco, Antonio de Beatis, personaje que viajaba en el séquito del cardenal Luis de Aragón, en el año 1517. Su descripción no deja lugar a dudas de que se encuentra frente al famoso tríptico: «Después hay algunas tablas con diversas bizarrías, donde se imitan mares, cielos, bosques y campos y muchas otras cosas; unos que salen de una concha marina, otros que defecan grullas, hombres y mujeres, blancos y negros en actos y maneras diferentes, pájaros, animales de todas clases y realizados con mucho naturalismo, cosas tan placenteras y fantásticas que en modo alguno se podrían describir a aquellos que no las hayan visto».[4]​

La obra fue heredada por su hijo René de Châlon y después por el sobrino de Enrique, Guillermo de Orange, líder de la rebelión holandesa contra la corona de los Habsburgo. Fue confiscada durante la guerra de Flandes por el duque de Alba, incluyéndose en el inventario redactado con tal motivo el 20 de enero de 1568. El duque dejó los cuadros a don Fernando, su hijo natural y prior de la orden de San Juan.[1]​

Felipe II adquirió el tríptico en la almoneda de los bienes de don Fernando y se envió al monasterio de El Escorial el 8 de julio de 1593, convirtiéndose de esta manera en la pintura más famosa de la colección del Bosco que Felipe II reunió en El Escorial.[5]​

Como sucede con todas las pinturas antiguas, el título con el que se la conoce es moderno. El inventario de la entrega a El Escorial de 1593 la describe como «Una pintura en tabla al óleo, con dos puertas, de la bariedad (sic) del mundo, cifrada con diversos disparates de Hieronimo Bosco, que llaman Del Madroño».[6]​ Fray José de Sigüenza, en su historia de la Fundación del Monasterio de El Escorial, ofreció una amplia descripción e interpretación de «La otra tabla de la gloria vana y breve gusto de la fresa o madroño, y su olorcillo, que apenas se siente, cuando ya es pasado, es la cosa más ingeniosa y de mayor artificio que se pueda imaginar».[7]​ Posteriormente, se cita en el inventario de 1700 como una pintura «de la creación del mundo». Vicente Poleró, que en 1857 publicó un Catálogo de los cuadros del Real Monasterio de San Lorenzo llamado del Escorial, lo llama De los deleites carnales. De ahí arranca su actual denominación como Jardín de las delicias o De las delicias terrenales. Fue trasladado al Museo del Prado en 1939 al final de la guerra civil española para su restauración, pues ya Antonio Ponz decía en 1777 que se encontraba bastante maltratada, y desde entonces no ha vuelto al monasterio.[8]​