Այն տարածքում, որտեղ ներկայում տեղակայված է ամրոցը, ժամանակին եղել է ոսկու հանք, որ մշակել են դեռ հռոմեացիները, ովքեր էլ կառուցել են առաջին պաշտպանական կառույցները ներկայիս ամրոցի տարածքում։ Խուան Պաչեկոն, ով ծնվել է Բելմոնտեում, ներկա ամրոցի շինարարությունն սկսել է 1456 թվականին և ավարտին հասցրել 14 տարի անց։ Բացառված չէ, որ ճարտարապետը եղած լինի այն ժամանակ մեծ համբավ վայելած Խուան Գուասը։

Բելմոնտեի ամրոցում Պաչեկոն մի որոշ ժամանակ թաքցրել է Խուանա Բելտրանեխային, որպեսզի պաշտպանի նրան Կաստիլիայի ազնվականներից, ովքեր չէին ընդունում նրա՝ օրինական ժառանգ լինելը։ Ամրոցի դարպասներից մեկը հետագայում կոչվել է Խուանայի պատվին։ Լեգենդի համաձայն՝ աղջիկը կիսամերկ փախել է ամրոցից՝ չվստահելով իր հովանավորին ու թագավորի վստահված անձին՝ Խուան Պաչեկոյին։

Պաչեկոյի հետնորդները՝ Էսկալոնի դուքսերը, ամրոցին քիչ ուշադրություն են դարձրել և հազվադեպ են եղել այնտեղ։ 1622 թվականին այն Մանուելես տոհմից անցել է Մանրիկե դե Լարա ընտանիքին, որի անդամները թագավորից ստացել են դե Բելմոնտեի մարքիզի կոչում։ Մինչ 19-րդ դարը ամրոցը վերջնականապես ավերվել է ու լքվել։

Իր ներկայիս տեսքն ամրոցն ստացել է Եվգենյա Մոնտիխոյի շնորհիվ։ 1857 թվականին՝ Նապոլեոն III-ի հետ ամուսնանալուց հետո, կայսրուհին նախաձեռնել է իր նախնիներին պատկանած ամրոցի վերականգնումը։ Ներքին բակը սալապատվել է, մի քանի աշտարակների համար կառուցվել են սանդուղքներ, վերանորոգվել են աշտարակների տանիքները։ Մոնտիխոյից հետո ամրոցը ժառանգել են նրա ավագ քրոջ սերունդները՝ Պենյարանդա դուքսերը (Ալբա տան կրտսեր ճյուղը)։