La villa fue creada en Tibur (actual Tívoli) como lugar de retiro de Roma por el emperador Adriano en el siglo II. Se decía que a Adriano le disgustaba el palacio del monte Palatino de Roma, lo que le llevó a construir este lugar de retiro, donde pasó los últimos años de su vida y desde donde gobernó el imperio. Una gran corte, por lo tanto, vivió allí de manera permanente.

Después de Adriano, la villa fue usada por varios de sus sucesores. Durante el declive del Imperio Romano, la villa cayó en desuso y quedó parcialmente en ruinas. En el siglo XVI, el cardenal Hipólito II de Este hizo que gran parte de los mármoles y estatuas de la villa se trasladara para decorar su propia residencia (Villa de Este) ubicada en las cercanías. Entre las estatuas que había aquí se citan una copia del Discóbolo de Mirón, las ocho musas de Cristina de Suecia (Museo del Prado) y posiblemente la Diana de Versalles (Museo del Louvre).