De locatie van het kasteel van Angers is zeer strategisch. Het kasteel is gevestigd op de westelijke flank van de stadsheuvel die met 47 m het hoogste punt van Angers is. De hoogte van het kasteel varieert tussen 35 en 45 m, hiermee domineert het de Maine, die stroomt op een hoogte van ongeveer 20 meter. De heuvel zelf bestaat uit leisteen.

In 1997 werd - tijdens preventieve graafwerken - een cairn opgegraven in het westen van de binnenplaats onder de overblijfselen van het oude gravensteen. De cairn, gebouwd rond 4500 v.Chr, omvatte 4 à 5 grafkamers. Ze bestond volledig uit leisteentegels en had een diameter van ongeveer 17 meter. De manier waarop de leisteen verwerkt is, gaf informatie aangaande de beheersing van de lei-exploitatie in het neolithicum.

De site zou later bewoond geweest zijn door de Andecaven, een Gallische stam. Hierover bestaat weinig informatie. In de Gallo-Romeinse periode ontstond er de stad Juliomagus. Deze was in het begin uitsluitend bestemd als woonstad; later bouwden de Romeinen een tempel op een terras aan de uiterste rand van het klif boven de Maine.

Op het einde van de 3e eeuw bracht de migratie van Germaanse volkeren een periode van toenemende onveiligheid met zich mee. De lokale bevolking vluchtte naar Juliomagus en omringde de stad met een muur van 10 à 12 meter hoog. Een deel van de Gallo-Romeinse muren doorkruist het huidige kasteel van west naar oost. In het uiterst westelijke punt van het kasteel, onder de galerij van de Apocalyps, bevinden zich ter hoogte van de kapel van St-Lauden overblijfselen van een toren van de stadsmuur. Onder de zuidoostelijke stadsmuur vindt men ook de overblijfselen van een poort, vermeld als ‘Porte de Chanzé”.

In 852 gaf de bisschop van Angers een terrein in bruikleen aan de graaf van Anjou. In een periode waarin Angers kwetsbaar was voor aanvallen van de Noormannen, kon men via deze positie de Maine bewaken. Dit weerhield de Noormannen echter niet de stad meerdere keren in te nemen. Tezelfdertijd voerden de Bretoenen aanvallen uit en namen een deel van het Angevijnse land in.

Pas toen de periode van onrust en invallen voorbij was, bouwden de graven van Anjou het eerste kasteel. Dit kasteel kreeg nooit te maken met belegeringen en werd weinig versterkt. De graven veroverden stukje bij beetje Poitou, Maine en uiteindelijk Normandië en Aquitanië. Het kasteel staat bekend als een "aula" (niet-versterkte burcht) en niet als een "castrum" (versterkte burcht). Het is grotendeels samengesteld uit bewoonbare delen. De "Aula" of Grote Zaal werd gebouwd op het meest westelijke klif. Dit was waarschijnlijk op het authentieke (hier bovenvermelde) terras. De keuken daarentegen werd gebouwd op de oude Gallo-Romeinse vesting. Een versterkte poort werd opgegraven in 1953: ze is massief (11 meter bij 8) en was waarschijnlijk deel van een versterkte toren.

Omstreeks de 12e eeuw stond het kasteel onder het bewind van de dynastie van de Plantagenets. In 1132 werd het kasteel verwoest door een brand. Bij de wederopbouw werd de omvang van de grote zaal verdubbeld. Aan de kant van de Maine werden meerdere appartementen gebouwd en een poort bijgemaakt. Ook werd de kapel van Saint-Laud gebouwd, buiten de Romeinse vesting waarop de noordelijke gevel van de kapel steunt. Het is een kapel met slechts een hoofdbeuk, overkoepeld met tongewelven; er is een apsis op de zuidelijke gevel. Angers was het hart van het rijk van de Plantagenets.

In 1214, na de Slag bij Bouvines en de Slag bij de la Roche-aux-Moines, ontnam de Franse koning Philippe Auguste Anjou van Jan zonder Land en voegde de provincie toe aan het koninklijk domein. Die vereniging bracht de koninklijke grenzen terug dichter bij het hertogdom Bretagne. De hertog verborg zijn vijandigheid tegenover het Franse koninkrijk niet. De Bretoenen slaagden erin Angers in te nemen in 1227.

Ze werden al snel verdreven door de troepen van Lodewijk IX van Frankrijk, die sindsdien de opbouw van een koninklijke vesting op gang bracht. Om een vesting van 2,5 hectare te kunnen oprichten vond Lodewijk het nodig de kanunniken van Saint-Laud te verdrijven alsook een deel van de bevolking. Bijna een vierde van de oude stad werd vernietigd. De bouw van het kasteel nam een twaalftal jaar in beslag (1230-1242). Zo ontstond de vesting zoals we die vandaag kennen: een omwalling van meer dan 800 meter lang, gekenmerkt door 17 torens. Enkel de steile noordelijke flank, tegenover de Maine, werd nooit versterkt. Ook de stad werd ommuurd.

Anjou werd het exclusieve bezit van broer van de koning, Karel van Anjou. Hij stond aan de basis van de Capetingische dynastie van Anjou. Niettemin, geroepen door de paus in Italië, drukten Karel en zijn opvolgers amper hun stempel op het kasteel, dat in 1290 terug naar de Franse koning ging. Angers verloor zijn politieke rol en de woningen gingen erop achteruit.

Toen Anjou in 1360 een hertogdom werd, installeerde zich een nieuwe dynastie in Angers afkomstig van het Huis Valois. Lodewijk I begon toen met het renoveren van de woonruimte van de seneschalk. Deze woning was achter de poorten van de stad gesitueerd. Vanaf 1370 herschikte hij ook de Grote Zaal. Hij zorgde voor nieuwe, grotere ramen en installeerde een indrukwekkende schouw. Hij liet een volledig nieuwe keuken bouwen, die vier keer groter was dan de oude grafelijke keuken. Zijn architect Macé-delarue stelde hij verantwoordelijk voor het onderhoud en de vernieuwingen van het kasteel. Omstreeks 1410 renoveerde zijn opvolger, Lodewijk II, de koninklijke residentie en de kapel. Daarna voegde René van Anjou aan die koninklijke residentie een galerij toe. In de jaren 1450 liet hij ook het kasteeltje en een hele reeks extra woongedeelten bouwen.

Uiteindelijk raakte René van Anjou in een conflict over de nalatenschap van het hertogdom met zijn neef, Lodewijk XI. Deze was op dat moment al koning van Frankrijk. Lodewijk XI besliste om het hertogdom met geweld in te nemen en trok in 1474 naar Anjou met zijn leger. Dit verplichtte René zijn plannen in verband met de opvolging voorgoed op te bergen. Lodewijk XI bezette onmiddellijk het kasteel en vertrouwde William van Cerisay de leiding toe. In 1485 liet hij de grachten uitdiepen, die tot dan toe maar vaag uitgegraven waren.

In 1562 werd de beslissing genomen om het kasteel aan te passen aan de technologieën van de nieuwe legertechnieken. Om de werkplannen op te stellen stelde men architect Philippe Delorme aan. Jehan de l’Espine voerde de werken uit. Men installeerde artillerieterrassen naar het zuiden toe zowel aan de kant van de binnenplaats als achter de vestingmuur in het noorden tussen de poorten en de woning van de gouverneur. Ook de grachten werden opnieuw verbreed.

In 1585, volop in godsdienstoorlog, maakten katholieken en protestanten ruzie over het kasteel. Daarom geeft Henri III het bevel om het kasteel te slopen nog voor iemand anders het tegen hem kan gebruiken. Het was Donadieu de Puycharic, de gouverneur van het kasteel, die de afbraak tot een goed einde moest brengen. De torens werden gesloopt en het kroonstuk afgebroken. De werken werden zes maal hervat en uiteindelijk aan het einde van de strijd stilgelegd. In 1595 werden nieuwe artillerieterrassen aangelegd en sommige schietgaten werden omgebouwd tot kanonsgaten.

In 1648 werd het kasteel opnieuw gebruikt wanneer de burgerij van Angers in opstand kwam tegen de gouverneur en ook tijdens La Fronde. In 1661 beval Lodewijk XIV aan graaf van Artagnan om Nicolas Fouquet, surintendant van Financiën, te stoppen. De koning verdacht Fouquet ervan 12 miljoen pond van de koninklijke schatkist verduisterd te hebben. In de loop van de 18e eeuw raakte het kasteel in verval door een gebrek aan onderhoud.

Tijdens de Franse Revolutie in 1789 werd het kasteel de zetel van het Revolutionaire Comité van Angers. Aan het begin van het jaar I van de messidor, de tiende maand van de Franse Republikeinse kalender (eind juni 1793), belegerden Vendeeërs de stad en het kasteel.

In 1806 gaf men de toestemming om de bijna afgewerkte Porte des Champs af te breken om er een boulevard aan te leggen. Het jaar nadien werd het kasteel omgebouwd tot een gevangenis. In 1813 werd een verdieping gebouwd in de kapel om er 200 Engelse matrozen in onder te brengen, die gevangengenomen waren tijdens de napoleontische oorlogen. Twee jaar later na de definitieve nederlaag van de keizer bezetten de Pruisen het fort. In 1857 werd het gebouw op de monumentenlijst geplaatst; het leger had de woning en de kapel vernietigd om er militaire constructies neer te zetten. In 1857 werd de Algemene Raad, na het betalen van 20.000 frank, de eigenaar van het kasteel. Ter compensatie moesten zij zich wel bezighouden met het onderhoud van de historische site van het kasteel.

In de 20e eeuw werd onderhandeld over het kasteel tussen het leger en de Schone Kunsten, maar deze onderhandelingen werden onderbroken door de Tweede Wereldoorlog. De Duitsers bezetten het gebied en sloegen er hun munitie op. Op 15 en 16 mei 1944 begon het Duitse leger zijn soldaten en munitie onder te brengen uit schrik voor bombardementen van de geallieerden. Tien dagen later, op 25 en 26 mei 1944, werd Angers voor het eerst gebombardeerd. Er vielen zes bommen op het kasteel waarvan drie binnen de omwalling. Een gewelf van de kapel stortte in, het koninklijke verblijf stond in vuur en vlam en de daken werden weggerukt.

In 1945 startte de wederopbouw van de kapel, onder leiding van de architect Bernard Vitry. De lichte militaire constructies werden ontmanteld. In 1948 werden de tuinen aangeplant en werd het kasteel voor het publiek geopend. Drie jaar later was de restauratie van de kapel voltooid. In 1952 besliste men om een nieuw gebouw op te trekken bestemd voor het wandtapijt van Angers. Het werd ingehuldigd op 30 juli 1954.

Op 10 januari 2009, omstreeks 4 uur 's middags, vernietigde een brand het koninklijk verblijf. De brand zou ontstaan zijn door een defect aan een elektrische verwarming. Dankzij de onmiddellijke reactie van de werknemers werden de waardevolle wandtapijten op een veilige plaats gebracht en zijn ze gespaard gebleven van de brand. Het dak van het gebouw daarentegen is wel in vlammen opgegaan. De schade werd op zo'n twee miljoen euro geschat. De minister van Cultuur, Christine Albanel, verklaarde dat de reconstructie van het beschadigde gebouw gepland is voor het tweede trimester van 2009.