Армянские историки, в частности, Егише и Лазарь Парпеци, впервые упоминают Ани в V веке[1]. Они описывали Ани как камсараканскую неприступную крепость на холме. Город получил название от крепости и языческого поселения Ани-Камах, расположенного в каринском регионе Даранаги[1]. Ани также некоторое время был известен под названием Хнамк (арм. Խնամք), хотя среди историков нет единого мнения насчёт того, почему его так называли[1]. Генрих Хюбшман, немецкий лингвист, изучавший армянский язык, предположил, что это слово может произойти от слова «хнамель» (арм. խնամել), глагола со значением «заботиться»[1].

К началу IX века бывшие территории Камсараканов в Аршарунике и Шираке, включая Ани, были включены в состав земель династии Багратидов[2]. Их сюзерен, Ашот IV Мсакер[fr] (806—827) получил титул ишханац ишхана (князя князей) Армении от Халифата в 804 году[3]. Первой столицей Багратидов стал Багаран, расположенный примерно в 40 км на юг от Ани, второй — Ширакаван, в 25 км от Ани, а в 929 году столицей стал Карс. В 961 году Ашот III (953—977) сделал столицей Ани[4]. В правление Смбата II (977—989) Ани быстро рос. В 992 году католикосат также переехал в этот город. В X веке население города составляло от 50 до 100 тыс. человек[5].

Пик развития города пришёлся на долгое правление Гагика I (989—1020). После его смерти развернулась борьба за власть между двумя наследниками, и старший, Ованес-Смбат (1020—1041), получил власть над Ани. Боясь нападения Византийской империи, он провозгласил своим наследником византийского императора Василия II. В январе 1022 года католикос Петер отправился к Василию, чтобы передать ему письмо от Ованеса-Смбата, в котором тот просил Василия взойти после него на трон[6]. После смерти Ованеса-Смбата (1041) наследник Василия, Михаил IV, провозгласил власть над Ани, однако новый король Ани, Гагик II (1042—1045), не подчинился ему. Несколько византийских армий пытались взять город, но все их нападения были отбиты. В 1045 году, по наущению провизантийских горожан, Ани сдался Византии и в нём стал править греческий губернатор[1]. Он стал столицей византийской феми Иберия[7].

Ани изначально лежал в стороне от торговых путей, но благодаря своему размеру, мощи и богатству стал важным торговым узлом. Главными торговыми партнёрами города были Византийская и Персидская империи, арабы и мелкие народы в Центральной Азии и России[1]. Ани превратился в один из самых больших городов мира своего времени[8].

Ани неоднократно подвергался нападениям византийской армии. О нападении византийцев в 1044 году армянский историк Вардапет Аристакес писал: «В эти дни ромейские войска в своем натиске четырежды вторгались в Армению, пока мечом, огнём и взятием в полон не обратили всю страну в безлюдье. Когда я вспоминаю об этих бедствиях, дух мой смущается, мысли останавливаются, ужас вызывает дрожь в руках, и я не в силах продолжать повествование, ибо горек рассказ мой, он достоин великих слёз!»[9][10]

Арабский историк XII века Сибт ибн аль-Джаузи со слов предполагаемого очевидца писал, что при разорении города турками в 1064 году всех выживших взяли в плен и число пленных было не меньше 50 тысяч душ[11].

В 1072 году сельджуки продали захваченный в 1064 года султаном Алп - Арсланом Ани Шеддадидам, мусульманской курдской династии. Шеддадиды в целом вели мирную политику по отношению к преимущественно армянскому и христианскому населению города, вступив в брак с несколькими знатными багратидами. Когда Шеддадиды стали вести себя нетерпимо, население отправило просьбу о помощи христианской Грузии. Грузины брали Ани в 1124, 1161 и 1174 годах, каждый раз возвращая его Шеддадидам. Во время осады 1124 года Ани защищала национальная героиня Армении, Айцемник.

В 1199 году войска грузинской царицы Тамары Великой взяли крепость Ани и изгнали Шаддадидов, управлять городом были назначены армянские генералы Закарэ и Иване Мхаргрдзели. Процветание вернулось в Ани, было восстановлено и построено множество зданий, как фортификационного назначения, так и церквей и других гражданских.

Монгольская империя безуспешно осаждала город в 1226 году, но десятилетие спустя они смогли взять Ани и уничтожили значительную часть населения. Ани пал в то время, когда шахиншах отсутствовал в городе. По возвращении Закаряны продолжили править городом, но теперь уже будучи вассалами монголов, а не грузин.

К XIV веку Ани правили монгольские династии Джалаиридов и Чобанидов. Тамерлан взял Ани в 1380-х годах. После его смерти Кара-Коюнлу заняли территорию Армении, хотя административный центр области перенесли в Ереван. В 1441 году армянский католикосат был возвращен в Эчмиадзин. Персидская династия Сефевидов правила Ани 1510-х до 1579 года, когда он перешёл к Османской империи. Город оставался в пределах крепостных стен по крайней мере до XVII века, а затем дома стали строить за их пределами.
К середине XVIII века Ани опустел[прояснить].

В первой половине XIX века европейские путешественники открыли Ани остальному миру, опубликовав свои находки в научных журналах. В 1878 году Карская область, включая Ани, была передана Российской империи. В 1892 году начались первые раскопки, которые спонсировала Петербургская академия наук и проводил востоковед Николай Марр[13]. Раскопки продолжались до 1917 года. Были проведены профессиональные раскопки, открывшие множество зданий; были произведены обмеры, находки описали в научной литературе[14]. Был произведён срочный ремонт зданий, которые могли в скором времени разрушиться. В мечети Минучихр и специально построенном здании рядом с ней открыли музей[15]. В Ани стали регулярно ездить жители окрестностей[16], было даже предложение открыть в городе школу, разбить парки и посадить деревья для благоустройства Ани[17].

В 1918 году Османская империя взяла Карс. Когда турецкая армия подходила к городу, около 6000 предметов были вывезены из города археологом Ашхарбеком Калантаром. По приглашению Иосифа Орбели они пополнили коллекцию Ереванского государственного музея армянской истории[18].

Николай Марр говорил, что всё, что осталось в городе, было либо украдено, либо уничтожено[19]. Когда Турция сдалась, восстанавливать Ани начали армянские специалисты, но нападение Турции на Армению в 1920 году привело к повторной оккупации города турками. В 1921 году был подписан Карсский договор, закрепивший переход Ани Турции[20].

В мае 1921 года Великое национальное собрание Турции приказало Кязыму Карабекиру «стереть памятники Ани с лица Земли»[21]. Карабекир писал в мемуарах, что отказался подчиняться приказу[22], однако уничтожение всех следов экспедиции Марра предполагает его выполнение[23].