Hofmeier Pepijn van Herstal vestigde een villa op de plek langs de weg tussen Dinant en Rochefort. Deze versterking werd door zijn opvolgers uitgebouwd en kwam vervolgens in handen van de heren van Celles. In de 12e eeuw verwierf Wouter van Beaufort de heerlijkheid door zijn huwelijk met Ode van Bretagne. Diens kasteel brandde in 1200 af maar werd door zijn nazaten tegen 1230 heropgebouwd. Dat was opnieuw nodig na een verwoesting door de Dinantezen in 1410. Het kasteel behield zijn militaire functie tot het einde van de middeleeuwen en werd dan in de renaissance en in latere eeuwen verbouwd: kantelen verdwenen, puntdaken werden toegevoegd en schietgaten werden vergroot tot vensters.

In 1609 plaatste de baron van Celles in de kasteelkapel van Vêves een Mariabeeldje uit aardewerk dat door een houthakker in een eik was aangetroffen. Het trok bedevaarders aan, waarna de kasteelheren het onderbrachten in een nieuwe kerk op de plek van de eik, de Église Notre-Dame de Foy in Foy-Notre-Dame.

Onder de Franse Revolutie leed het bouwwerk in 1793 schade, die door de eigenaars de Liedekerke de Beaufort werd hersteld. Graaf Hadelin de Liedekerke Beaufort, een vooraanstaand politicus, was de laatste van de familie die het kasteel effectief bewoonde. Zijn zoon en kleinzoon bleven het echter in stand houden. De laatste richtte een vzw op met het oog op openstelling voor het publiek, wat gerealiseerd werd na een restauratiecampagne in 1969-1979 onder Christian de Liedekerke de Beaufort.