הארמון שימש בעבר כמנזר בנדיקטיני, עד שעבר לידיו של הקרדינל איפּוליטו השני דֵ'אֵסְטֶה (1509-1572), בנם של אלפונסו הראשון דֵ'אֵסְטֶה ושל לוקרציה בורג'ה. איפּוליטו השני מונה בשנת 1550 למושל טיבולי על ידי האפיפיור יוליוס השלישי, ואז החל בהסבת מבנה המנזר למעון מפואר. תכנון הגנים והמזרקות נעשה על ידי הארכיטקט האמן והארכאולוג הנפוליטני פירו ליגוריו Pirro Ligorio‏ (1510–1583), לפי הוראותיו של האדריכל אלברטו גלבני Alberto Galvani. הצייר הראשי שצייר את קירות הארמון היה ליוויו אגרסטי Livio Agresti‏ (1508–1580), שהיה בעל סגנון רנסאנסי - מנייריסטי.