El Castillo de los Condes de Flandes se construyó sobre unas altas dunas con orillas pantanosas en el medio del río Lys.

Edad Media  Grabado que muestra el aspecto del castillo en torno al siglo XVI o XVII.

Durante la Edad Media, este castillo funcionó como el centro de riqueza y poder de los condes de Flandes. La mayoría de los condes de la región fueron construyendo castillos en las principales ciudades del condado. Estos castillos les servían de alojamiento, ya que los condes estaban continuamente viajando de ciudad en ciudad para poder mantener la ley y el orden.

El conde Balduino I de Flandes (°837- †879) eligiría el primer castillo como defensa contra los normandos. En 879 el Castillo de los Condes, formó parte del campamento del ejército donde los vikingos saquearon la ciudad. El conde Arnolfo I (° 889- † 965) hizo por primera vez reformas en el castillo. El conde Roberto I de Flandes (° entre 1029/1032- † 1093) hizo reformas más drásticas.

En el siglo IX, el material que se usó para la construcción del castillo fue la madera. Durante los siglos XI XII, el castillo fue ampliado y se usó por primera vez la piedra. Es posible que la parte más antigua del castillo pueda ser la torre del homenaje, que cuenta con una altura de tres pisos y de donde se puede divisar panoramicamente toda la ciudad de Gante. Las tres salas de la torre, la escalera monumental de piedra, las chimeneas y las letrinas, enfatizan el lujo y la comodidad en este período. La subida a la torre es quizás uno de los aspectos más fabulosos de la visita.

El castillo, tal como lo conocemos hoy, fue construido por Felipe de Alsacia (°1142- †1191), conde de Flandes entre 1157 y 1191. Su deseo era de mostrar a los ganteses, quien dominaba la ciudad. Por eso construyó una fortaleza completamente nueva (1180). En aquella época turbulenta de la ciudad de Gante, el castillo simbolizó el poder condal y funcionó como contrapeso frente a las altas casas de los ricos patricios, que se encontraban al otro lado del río Lys.

Según el conde Luis II de Flandes (° 1330- † 1384) el castillo no era lujoso y por eso hizo trasladar la residencia a Hof ten Walle (después denominada Corte de los Príncipes o Prinsenhof, donde el 24 de febrero de 1500 nació Carlos I de España). En el Castillo de los Condes se puede empezar a sentir la presencia de Carlos I, su habitante más famoso.

Desde 1407 el Consejo de Flandes, el mayor tribunal de aquellos tiempos, se estableció en el castillo mismo. En épocas posteriores el castillo fue utilizado con diferentes propósitos, llegando incluso ser la cárcel municipal de Gante. Junto al castillo se halla la plaza histórica donde se realizaban las ejecuciones públicas que dictaminaban los condes.

Durante los últimos años del siglo XVIII y durante el siglo XIX

El consejo siguió utilizando el castillo hasta el año 1778, momento en el que el castillo pasó a ser vendido a particulares. Jean-Denis Brismaille, compró el castillo y lo convirtió en un complejo industrial. En 1807 se fundó un hilandería en la torre del homenaje y los otros edificios sirvieron de viviendas para los obreros. Esta transformación del castillo caracterizó el desarrollo industrial de Gante. Más tarde la hilandería y las casas obreras se ubicaron en las afueras de la ciudad. En el siglo XIX el castillo se encontró en estado precario y ruinoso. Según los habitantes de Gante, fue el símbolo del poder, opresión feudal, de abuso, tortura horrorosa y de inquisición intolerante.

Desde los últimos años del siglo XIX

En el siglo XX el castillo empezó a recuperar su valor perdido; a consecuencia de la mala reputación cometido por la opresión feudal de los siglos pasados. La región de Flandes y la ciudad de Gante compró el castillo gradualmente. Bajo la dirección del arquitecto Joseph de Waele, se volvió a restaurar el castillo en el año 1894; después de unos debates y problemas administrativos, se optó de reconstruir, restaurar y darle un estilo romántico.

Gracias a la restauración de los Condes de aquel entonces; el castillo volvió a recobrar su importancia; siguió siendo uno de los monumentos más visitados por los turistas. Sin embargo, con el pasar del tiempo y por falta de mantenimiento y atención para conservar el monumento, empezó otra vez a decaer y deteriorarse.

En 1980 se llevó a cabo, nuevamente otra restauración con el fin de buscar y obtener nuevos desafíos culturales, para intensificar y atraer más el turismo. Un ejemplo de ello, en el año 2002 se llegó a inaugurar unas de las habitaciones como museo, para exponer la gran colección de instrumentos de armas y la colección de instrumentos espeluznante de tortura.