В позднюю эпоху Реконкисты, область современного города Альманса была границей между христианскими королевствами Кастилии и Арагона и мусульманской Мурсии (части Аль-Андалус)[1]. Именно на этом месте мусульманами в XII веке был заложен замок-крепость. Местом для строительства был выбран скалистый холм, который придавал строению дополнительную защиту с одной из сторон[1]. В XIII веке замок был взят христианами под предводительством короля Хайме I, после чего был расширен и укреплен[2].

На протяжении следующих нескольких веков многократно менял владельцев, некоторое время являлся частью имущества Тамплиеров в XIII веке. В XV веке перешел во владение кастильца Хуана Пачеко, который в качестве второго маркиза Виллена провел значительные изменения замка, результатом которых стало появление донжона, полукруглых башен стен и оборонительных амбразур. С XIV века, потеряв своё стратегическое значение, как и большинство других замков Испании, перешел в длительный процесс заброшенности и разрушения.

В 1919 году мэр Альманса выступил с предложением сноса замка[3], однако благодаря усилиям представителей Королевской Академии истории и Королевской Академии изобразительных искусств Сан Фернандо, замок не только был сохранен, но и в 1921 году обрел статус историко-художественного национального памятника Испании[4]. С 1952 года в замке ведутся реставрационные работы, целью которых является придание строению облика времен расцвета эпохи Пачеко[3].