Ricardo I de Inglaterra, llamado Ricardo Corazón de León, se alzó, con la ayuda de Felipe Augusto, contra su padre, el rey Enrique II de Inglaterra (que murió en 1188) y heredó la corona de este último. De inmediato rompió la alianza con el rey de Francia y se marchó a Tierra Santa. Cuando regresó a Inglaterra, emprendió con gran energía una lucha singular a fin de recuperar su supremacía en la frontera oriental de su Ducado de Normandía. Tras derrotar a la armada de los Capetos en Vendôme, aprovechó la tregua impuesta por el Papa para terminar, en un tiempo récord, la construcción del castillo que había comenzado en 1196 y que se acabó un año después.

Una leyenda dice que, cuando el castillo estuvo finalizado, Ricardo Corazón de León lo miró y no pudo exclamar más que ¡Ah! ¡Qué castillo tan gallardo!. Gaillard, en francés, se castellanizó a gallardo.

Después de morir Ricardo en abril de 1199, su hermano Juan sin Tierra le sucedió en el trono del ducado. Juan firmó un tratado de paz con el rey de Francia el 22 de mayo de 1200, conocido con el nombre de Tratado de Goulet. Dicha paz se rompió en 1202 y Felipe Augusto atacó el ducado de Normandía y puso sitio al Castillo Gaillard con seis mil hombres el 10 de agosto de 1203. Tras apoderarse del castillo de la isla y del Petit-Andely, impidió la llegada de alimentos para la guarnición y los pobladores que se hallaban en el interior del mismo.

Los ancianos, las mujeres y los niños del Petit-Andely que se habían refugiado en el castillo, fueron apresados en diciembre. Los franceses asediantes los devolvieron. Amontonados en el segundo recinto, murieron de hambre; siniestro cuadro pintado por Tattegrain. Roger de Lascy, jefe de la guarnición, repelió los asaltos, los ataques y los incendios que se sucedieron durante siete meses, y no se rindió hasta que el hambre les acució y tras haber perdido las tres cuartas partes de sus tropas.

Cansado de la resistencia de los soldados anglo-normandos, el rey Felipe Augusto dio el último asalto tras siete meses de asedio y se apoderó, sucesivamente, de todos los elementos de la fortaleza. La leyenda popular mantiene que los franceses entraron por las letrinas. Sin embargo, parece ser que se introdujeron pasando por una de las ventanas bajas que Juan sin Tierra había hecho construir (para su desgracia) en la capilla. La guarnición se rindió el 6 de marzo de 1204, dejando el campo libre al rey de Francia para culminar la conquista del ducado de Normandía, del que se adueñó en junio de 1204.

Al pie del torreón del norte, una escalera conduce a una gran celda. En este subterráneo, afirma el historiador Édouard Gachot, fue encerrada Margarita de Borgoña, la esposa adúltera de Luis X de Francia, el 18 de junio de 1314. Estrangulada con sus propios cabellos el 15 de agosto de 1315, su cuerpo fue llevado la noche siguiente al cementerio de los Cordeliers de Vernon. Dos de las nueras de Felipe IV de Francia fueron encerradas en el Castillo Gaillard después de ocurrido el escándalo de la torre de Nesle: Margarita, que murió, y Blanca, esposa de Carlos IV de Francia, que fue autorizada a retirarse a un convento: Juana de Borgoña, esposa de Felipe V de Francia, fue encarcelada durante un tiempo en Dourdan; liberada después, fue la única que se convirtió en reina de Francia en 1316.

Durante la Guerra de los Cien Años, Carlos II de Navarra fue encarcelado en el castillo por orden de Juan II de Francia y se evadió el 9 de noviembre de 1357.

Durante este conflicto, el Castillo Gaillard sufrió varios asedios. En 1417, pasó a poder de los ingleses después de dieciséis meses de asedio. La Hire, compañero de Juana de Arco, se refugió en él en 1429. En 1430, la fortaleza volvió a estar controlada por los ingleses. En 1449 Carlos VII de Francia tomó de nuevo posesión de la misma.

Tras el último asedio llevado a cabo por Enrique IV de Francia, comenzó el desmantelamiento de la fortaleza ordenado por decisión real y fue confiado a los religiosos de Andelys (capuchinos y penitentes). La demolición quedó interrumpida en 1611, y se recomenzó durante el mandato de Richelieu.

En 1862, las ruinas del Castillo Gaillard fueron clasificadas como Monumento histórico de Francia.