Відомо, що землі Анже входили до складу Римської імперії вже у III столітті, тут розташовувалося невелике укріплене поселення, яке захищало ці землі від нападів варварських племен і навіть вікінгів. Поселення, оточене дерев'яними стінами, мало на той час вельми розвинені фортифікаційні укріплення.

У 851 році фортеця потрапляє під владу Анжуйського графства (фр. Anjou). Напади вікінгів продовжуються, декілька разів місто повністю розграбовується. Жоффруа II (фр. Geoffroy II) під час свого правління (1040–1060), з дозволу і благословення єпископа Анже, будує замість дерев'яної фортеці кам'яний замок, після чого Анже стає «виїзною столицею» королів Англії з династії Плантагенетів — тут бували Генріх II та Річард I Левове Серце. У 1204 році французький король Філіпп II Август захоплює низку англійських володінь на континенті, зокрема, Анжуйське графство, а король Англії Іоанн Безземельний через політичні негаразди не має змоги повернути втрачені землі, тому Анже залишається під владою Франції.

Сучасний замок Анже був зведений вже за часів онука Філіпа II, Людовика IX Святого. Будівництво замку почала у 1230 році мати Людовика, королева Бланка Кастильська, яка правила як регент при своєму малолітньому синові. У 1234 році вартість будівництва замку склала 4 422 ліври. До 1240 року було закінчено будівництво потужних стін з сімнадцятьма круглими баштами. У 1246 році Людовик IX випускає з-під свого впливу графство Анжу і передає його, разом із замком Анже, своєму брату Карлу I Анжуйському.

Через сто років Філіп IV Валуа повертає Анжу Франції, а у 1352 році король Іоанн II Добрий (фр. Jean II le Bon) передає ці землі своєму другому синові Людовику I, який згодом стає герцогом Анжуйським. У 1367 році Людовик I доручає своєму архітекторові Деларуа провести оздоблення та реконструкцію замку. Син Людовика I, Людовик II будує у внутрішньому дворі замку каплицю і королівські палати. В каплиці зберігалася свята реліквія — частинка Святого Хреста, яку привіз з хрестових походів король Людовик IX Святий.

Станом на 1451 рік замковий палац мав 154 житлові кімнати з 2 великими залами.

 Замкова каплиця, житлові покої, брама Рене Доброго

Син Людовика II, Рене Добрий, на відміну від батька більше уваги приділяв паркам і садам. Так, Рене заклав у замку сад, для чого привіз із свого родового маєтку в Провансі квіти, декоративні кущі, дерева. Також у замку з'явився оригінальний звіринець, який мав слугувати для полювання. У замку проводилися численні лицарські турніри. У 1470 році помирає єдиний син Рене, Жан II, і Рене заповідає замок Анже своєму небожу, Людовику XI. Останній, не чекаючи смерті заповідача, у 1475 році захоплює замок і стає його власником. На відміну від попередніх господарів, Людовик XI приділяє більше уваги фортифікаціям замку — він обносить стіни додатковим сухим ровом, фінансує заміну замкової артилерії.

На початку XV століття у замку Анже знаходить притулок дофін Карл, який втік з Парижу від бургундців, що захопили місто. Незабаром, за допомогою Жанни д'Арк він стане королем Карлом VII і очолить опір французів у Столітній війні.

У 1562 році Катерина Медичі зміцнює Анжерський замок з метою привести його у відповідність з військовими реаліями тих часів. Однак її син Генріх III, зійшовши на французький престол у 1574 році, наказав зрізати сімнадцять веж замку до рівня стін, перетворивши їх на звичайні куртини; матеріал з веж пішов на будівництво вулиць міста Анже. Причиною таких дій стали гугеноти, які становили більшість у землях Анжу і Алансон. Генріх побоювався, що вони можуть захопити замок і підняти повстання. Попри це, Генріх III продовжував підтримувати замок у бойовій готовності і навіть встановив на стінах артилерію.

У XVI столітті замковий рів розбудували до ширини 30 м і глибини 11 м

У 1652 році, за часів Фронди, Анрі Шабо (фр. Henri Chabot), губернатор Анжу та прибічник принца де Конде, здіймає повстання в Анже, але коли королівські війська на чолі з Людовиком XIV та кардиналом Мазаріні підходять до стін міста, він здає місто і замок без бою, рятуючи їх від пограбування.

З 1817 року у замку розміщувалася військова академія, де навчалися молоді офіцери, зокрема, Артур Веллслі, майбутній герцог Веллінгтон та переможець Наполеона Бонапарта.

У 1939 році Анже став притулком польського уряду від військ Німеччини, а у 1940 році місто було окуповане нацистами. З 1942 року тут діяв регіональний центр гестапо. У 1944 році Анже був звільнений від нацистів, проте сам замок серйозно постраждав — відступаючи, німецькі війська підірвали склади з амуніцією, що знаходилися всередині замка.

У другій половині XX століття замок Анже був відкритий для відвідування туристами та перетворений у музей середньовічних гобеленів, чия колекція є найстарішою і найбільшою у світі.

За 2002 рік замок відвідало 171 378 туристів, що принесли прибуток у 593 759 євро. Вартість входу становить 8,5 євро, пільговий квиток — 5,5 євро.