Один из живописнейших городков Испании с хорошо сохранившейся средневековой крепостной стеной, Альбаррасин получил название в честь мавританских правителей из рода Аль-Бану-Рацин. С 1012 по 1104 годы — столица одноимённой тайфы (княжества), а после её распада — центр сеньории Альбаррасин, которой правил наваррский род Асагра.

В XII веке правители из этого рода обратили местное население в христианство и, пользуясь нахождением их владений на стыке границ мусульманской Валенсии, Кастилии и Арагона, сумели сохранить независимое положение до конца XIII века.

В 1284 Альбаррасин был завоёван арагонским королём Педро III, который позволил носить титул сеньора де Альбаррасина могущественному феодалу Хуану Нуньесу из рода Лара, поскольку тот взял в жёны Терезу Альварес де Асагра, наследницу прежних владельцев. В 1300 году сеньория официально вошла в состав земель арагонской короны.

С 1173 года в Альбаррасине находилась кафедра епископов Сегорбе, в 1577 году переименованная в альбаррасинскую. В 1852 г. в связи с сокращением населения города и его значения епископ был переведён в более оживлённый Теруэль.