Первое оборонительное сооружение на месте замка было построено при графе Бодуэне I Железной Руке в IX веке, и предназначалось для отражения набегов викингов.

В начале X века граф Арнульф I приказал полностью перестроить крепость. Все сооружения были деревянными и располагались вокруг большого здания, построенного на укрепленном возвышении.

 Замок до восстановления в начале XX века

В середине XII века при графе Роберте I Фризском крепость была в очередной раз основательно перестроена. На месте деревянного здания в центре появилась трехэтажная каменная башня (33 на 18,8 м) с тремя парадными залами, монументальной каменной лестницей, печами и уборными, что считалось признаком роскоши. Позднее крепость была снова перестроена, но пострадала от серьезного пожара в 1176 году.

Гравенстейн в том виде, в каком его можно видеть сейчас, был построен графом Филиппом Эльзасским в 1180 году. Тогда был расширен главный зал, сам замок окружили стеной с 24 башенками и выкопали вокруг неё ров. В те неспокойные для Гента времена величественный Гравенстен символизировал могущество графов Фландрии и служил своего рода противовесом высоким домам знати, которые были расположены на другом берегу реки Лейе.

В XIV веке Гравенстейн перестал выполнять функцию резиденции, так как, по мнению правившего тогда графа Людовика II Мальского, был недостаточно комфортным. Тем не менее, замок сохранил свою административную функцию в графстве Фландрия.

С 1353 года замок использовался в качестве Гентского монетного двора. С 1407 года в замке размещался верховный суд графства, Совет Фландрии, а также тюрьма. Совет Фландрии занимал замок вплоть до 1778 года, когда Гравенстейн стали распродавать всем желающим. В итоге с 1807 года главную башню замка стали использовать в качестве текстильной фабрики. В остальных постройках жили рабочие фабрики со своими семьями. В результате замок пришел в удручающее состояние.

В конце XIX века значение замка Гравенстейн для города было пересмотрено, и местная знать и городской совет постепенно выкупили его из частных рук. Реставрационные работы под руководством архитектора Йозефа де Вале начались в 1894 году. Де Вале вернул замку вид времен Филиппа Эльзасского, хотя некоторые детали, как, например, плоские крыши и окна восточного крыла здания, не были типичны для средневековых построек.

 Капелла

Несмотря на то, что в XX веке Гравенстейн стал одной из самых часто посещаемых достопримечательностей Гента, поддержанию замка в надлежащем состоянии уделялось мало внимания. К тому же, по сравнению с другими крупными резиденциями средневековых правителей Северной Европы, Гравенстейн был наименее изучен и известен. Все это привело к тому, что замок снова пришел в упадок.

Только в 1980 году, когда Гравенстейн отмечал своё 800-летие, замок был по-новому оценен. Внимательно изучив состояние замка, специалисты разработали многофазную программу реставрации и укрепления строений, которая была успешно выполнена.