Після розпаду Кордовського халіфату на його уламках виникає декілька незалежних дрібних держав, однією з них і була Тайфа Сарагоси у XI столітті. Місто зробили столицею. Володарі держави були втягнуті у військові конфлікти, що спонукало до політичного союзу з католицькими князівствами Іспанії. Останній володар мавританської Сарагоси Абд-аль-Малик Имад ад-Даула зрікся влади і визнав зверхність Альфонсо І Арагонського. Він став прихильником політики Альфонсо І, а його військо брало участь у військових діях на боці християнського Арагону.

Фортеця з палацом були побудовані в короткий період незалежності та розквіту мавританської держави Тайфа Сарагоси в 2-й половині 11 століття. Це була резиденція володаря Бану Худ (Banu Hud). Незважаючи на незалежність, Бану Худ визнавав політичну могутність сусідньої християнської держави і платив данину. У 1118 р. Місто Сарагоса було захоплене християнським військом і стало столицею королівства Арагон. За короткий період мавританської незалежності там і був створений палац і фортеця Альхаферія, досить повно збережені до 20 ст.

Найдавніша частина фортеці — Вежа Трубадура. Два її нижні поверхи датують 9 століттям н. е., добудови — у 10 столітті.

Назва споруди пізня і належить 19 століттю, коли іспанець Антоніо Гарсія Гутьєррес оприлюднив драму «Трубадур» . Драму переробили у лібретто опери, музику до якої створив італієць Джузеппе Верді (1813—1901) у 1853 р.

Мавританські за характером та оздобами приміщення фортеці були пристосовані під палац католицьких королів у 1492 році. Частка будівель реконструйована у 1593 р. з метою підсилення фортечної функції. В роки війни за незалежність (1808—1814 рр.)від наполеонівський військ фортеця зазнала пошкоджень.

Значні відновлювальні роботи і реставрація проведені в 2-й половині 20 століття. Приміщення пристосовані під Кортеси (парламент) та засідання законодавчої палати Арагону.