W okresie wpływów rzymskich była to celtiberyjska osada Lobetans (łac. Lobetum), w prowincji Tarraconensis.

W roku 133 p.n.e. Rzymianie podporządkowali sobie miejscowe plemiona i w okolicach Albarracín założyli kilka osad. W I wieku n.e. zbudowali 18-kilometrowy akwedukt. Był to jeden z najważniejszych obiektów użyteczności publicznej wzniesionych w Hiszpanii przez Rzymian.

W IX wieku ziemie te zajęli Maurowie. W latach 1012–1104 andaluzyjska dynastia Banu Razin ustanowiła tu samodzielny taifat, później podporządkowany kalifatowi Almorawidów. W połowie XII wieku Albarracín należał do dominiów Muhammada ibn Mardāniša, emira Murcji i Walencji, zwanego szeroko pod przydomkiem Króla Wilka (el Rey Lobo, ur. 1124, panował 1147-1172). Mardāniš, zacięty przeciwnik kalifów z dynastii Almohadów, przekazał miasto w latach 60. XI wieku swemu chrześcijańskiemu sprzymierzeńcowi, pochodzącemu z Nawarry Pedro Ruizowi de Azagra. Tak przynajmniej twierdzili członkowie rodu Azagrów, którzy nie wyrzekłszy się chrześcijaństwa, szybko zerwali związki wasalne z muzułmańskim królestwem. Inna wersja wypadków mówi o nadaniu Albarracín Pedro Ruizowi przez króla Nawarry Sancho Mądrego. Założywszy niezależną seniorię u zbiegu granic Aragonu, Kastylii i Walencji, panowie z rodu Azagrów uznawali się jedynie za vasallos de Santa María. Skoligaceni z kastylijskimi i nawarskimi magnatami, Azagrowie zaangażowali się jednak nade wszystko w życie polityczne Korony Aragonu, uzyskując kolejne nadania od tamtejszych władców zabiegających o udział Azagrów w wyprawach przeciw muzułmanom. Za panowania Piotra II Katolickiego Azagrowie stali się panami większości znaczących miast Nowego Aragonu. W 1276 r. ród wygasł, a jego dobra przejęła kastylijska familia możnowładcza de Lara. Wrogie stosunki z rezydującymi w Barcelonie monarchami ściągnął na ich głowy karne ekspedycje Piotra III Wielkiego (1284) i Jakuba II Sprawiedliwego (1300), które poddały Albarracín zwierzchności Korony Aragonu.

W 1961 roku rząd Hiszpanii uznał miejscowość za pomnik historyczny. W roku 2005 eksperci w dziedzinie turystyki uhonorowali Albarracín tytułem „najpiękniejszego miasta Hiszpanii”.

Obecnie miasto jest ważnym ośrodkiem turystycznym, co roku odwiedza je ponad 100 tysięcy osób.