Анси възниква през XI век, а от началото на XIII век е столица на Женевското графство, след като в Женева се установява властта на местния епископ и графовете напускат града. През 1401 година Женевското графство е присъединено към Савоя, където Анси е център на провинция Женевоа.

След като през 1535 година калвинистите установяват контрол над Женева, католическият епископ се премества в Анси и градът е център на Женевския диоцез до закриването му през 1801 година. От 1822 година е седалище на новосъздаден Ансийски диоцез.

Между 1792 и 1814 година Савоя е анексирана от Франция и Анси е част от департамента Мон Блан. През 1860 година областта е окончателно присъединена към Франция и Анси става център на новосъздадения департамент От Савоа (Горна Савоя).

През 1949 година в Анси се провежда вторият кръг от преговорите по Общото споразумение за митата и търговията.