На початку 1940-х років Джеймс вирушив з Англії в США, почавши свій візит з художньої колонії в Таосі, Нью-Мексико. Потім він відвідав Лос-Анджелес, Каліфорнія, де у нього виникла ідея створення саду, подібно Едемському. Але він зрозумів, що в переповненій і індустріальній Каліфорнії це малоймовірно.[1] у 1941 році його знайома художниця стилю магічний реалізм — Бріджет Тіченор порадила Едварду пошукати таке місце в сюрреалістичних місцях Мексики, де можна було б висловити свої езотеричні інтереси.[2] У місті Куернавака він найняв гіда — Plutarco Gastelum, і в листопаді 1945 року поряд з містечком Хілітла вони знайшли прийнятне для парку місце. Цікаво, що гід англійця одружився з місцевою жінкою й мав чотирьох дітей, які згодом називали Джеймса «дядьком Едвардом». Джеймс часто зупинявся в їхньому будинку, побудованому з бетону в псевдоготичному стилі, нині це готель La Posada El Castillo.[3]

У період між 1945 і 1965 роками Едвард Джеймс, живучи в цих місцях, побудував тут десятки сюрреалістичних бетонних конструкцій, деякі з них мали власні імена. Доріжки в парку складаються зі східців, пандусів, мостів та вузьких звивистих стежинок, які перетинають стрімкі природні скелі. Джеймс доповнював парк новими спорудами і в наступні роки, не закінчивши свій проект; він помер від інсульту в 1984 році в Сан-Ремо. На будівництво цього паркового комплексу було витрачено понад 5 млн доларів. Для цього Джеймсу довелося продати частину своєї колекції сюрреалістичного мистецтва на аукціоні.

Влітку 2007 року фонд Fundación Pedro y Elena Hernández, компанія Cemex (найбільший виробник цементу в світі) і уряд штату Сан-Луїс-Потосі зібрали 2,2 млн доларів і створили фонд Fondo Xilitla[4], який опікувався питаннями збереження і відновлення цього унікального парку.