Die Archäologen fanden Hinweise, dass an dieser Stelle in der Römerzeit eine erste Siedlung existiert hat, die jedoch frühzeitig aufgegeben wurde. Die erste Burg soll zur Zeit Karls des Kahlen errichtet worden sein, wahrscheinlich von Balduin I. genannt „Eisenarm“ um 870, mit dem das Haus Flandern seine Herrschaft begann.

Die erste Anlage auf dem Platz der heutigen Anlage war wohl eine von den Wikingern errichtete Burg aus Holz. Schon um 1000 entstand an dieser Stelle ein steinerner Saalbau. Eine erste Ringmauer komplettierte die Burg. Im Jahr 1128 kam es zur ersten ernsthaften Belagerung durch Anhänger des Dietrich von Elsass, wobei das Bauwerk zerstört wurde.

Auf ihren Resten ließ Philipp von Elsass, der damalige Graf von Flandern, von 1180 bis 1200 den Gravensteen erbauen. Er vergrößerte die Burganlage, um die Genter besser kontrollieren zu können. Ein Ringgraben umgab nun die Burganlage, der Aushub wurde um den alten Saalbau aufgeschüttet, so dass eine Motte entstand. Auf den Mauern des Saalbaues, der nun als Keller dienen sollte, wurde ein 30 m hoher Donjon errichtet. Die Bürger hatten in der Stadt mittlerweile wehrhafte Türme errichtet. Aus dem 13. Jahrhundert stammen die Fenster des Kastellans und die kreuzförmige Öffnung über dem Haupttor. Hier tagten fortan die Gerichtshöfe.

Zwischen dem 13. und dem 14. Jahrhundert wurde die Burg restauriert. Der ovale Burghof erhielt eine Ringmauer mit 24 vorspringenden, zweistöckigen Türmchen. Getrennt vom Donjon und innerhalb der Ringmauer lagen die Gebäude des Grafen sowie alle wichtigen Wirtschaftsräumlichkeiten. Ab dem 12. Jahrhundert wuchs Gent so enorm, dass die Stadt nun die Burg umschließt.

Im 14. Jahrhundert zogen die Grafen von Flandern aus der Burg aus und residierten im benachbarten Prinzenhof. 1353 verlagerte Graf Ludwig II. seine Residenz von Gravensteen an den Hof Ten Walle. Große Feste und Empfänge wurden aber weiterhin in der alten Burg durchgeführt. 1301 belagerten die Genter die Burg und konnten sie durch den Einsatz von Feuer zur Kapitulation zwingen.

1368 schlugen die Angreifer eine Bresche in die Mauer. Die Instandsetzungsarbeiten aus dem ausgehenden 14. Jahrhundert sind am Torhaus und der Mauer erkennbar.

Von 1407 bis 1708 diente die Burg als Gerichtssitz; ein Kerker und eine Folterkammer wurden eingerichtet. Auch der Rat der Stadt Gent tagte hier.

1544 beherbergte die Burg mit dem Kartografen Gerhard Mercator ihren wohl prominentesten Gefangenen, der dort unter dem Vorwurf, der Lehre Martin Luthers anzuhängen, für einige Monate eingekerkert war.[1][2]

1780 erwarb ein Kaufmann die Burganlage und wandelte sie zu einer Textilfabrik um. Die Nebengebäude dienten als Arbeiterwohnungen, das Torhaus als Wohnung des Fabrikdirektors. Nach der Französischen Revolution wurde der Gravensteen an eine Baumwollspinnerei verkauft.

Ende des 19. Jahrhunderts sollte die Burg abgerissen werden, was die Stadt Gent verhinderte: sie kaufte 1887 den Gebäudekomplex zurück und ließ sie anschließend, zwischen 1889 und 1908, notdürftig konservieren.

Die 800-Jahr-Feier der Stadt Gent, die festlich begangen wurde, führte zu einer vollständigen Restaurierung des Gravensteen.