伯爵城堡由弗兰德伯爵阿尔萨斯的菲利普建于1180年[1]，仿照十字军城堡，因为阿尔萨斯的菲利普参加了第二次十字军。此前这里是一座建于9世纪的木制城堡。该城堡为弗兰德伯爵住所，直到14世纪被放弃为止。城堡改为法院和监狱，逐渐荒废。城堡内建起了房屋，城墙的石头被用来建造其他建筑物.一度甚至改为工厂。在19世纪末，计划拆除城堡。

1885年，根特市购买了城堡，并开始了修复工程。新建的房屋被拆除，城墙和地牢恢复到原来的状态。修复一直是讨论的主题。人们讨论城堡是否仍然可以算是正宗的。尽管如此，伯爵城堡吸引了大量的游客。游客可以爬到修复的城堡顶部。它仍然部分由护城河环绕。城堡里面是一个博物馆，展出根特历史上使用过的各种刑具（包括一个断头台）。