Armeense vrouwen bij het verlaten van de kerk in Ani.
Schilderij van Vardges Sureniants

Ergens in de 5e eeuw werd op het plateau een vesting gebouwd. Het plateau moet lang vóór die tijd al bewoond zijn geweest.

Aanvankelijk hoorde het tot het Armeense vorstenhuis Kamsarakan. In de vroege 9e eeuw ging het over tot het huis van Bagratuni.

In de 10e eeuw begon zich hier een stad te ontwikkelen die in 961 de hoofdstad van Armenië werd. Dit was de glorietijd van de stad. Ani had toen tussen 100.000 en 200.000 inwoners en in deze tijd werden ook de meeste kerken gebouwd.

In 1045 viel de stad in handen van het Byzantijnse Rijk en kwam in 1064 onder controle van de Seltsjoeken.

Hierna werd de stad nog meerdere malen door verschillende heersers veroverd. In 1239 werd de stad ingenomen door het Mongoolse Rijk.

In 1319 werd Ani getroffen door een aardbeving, waarna de stad langzaamaan verlaten werd.