Le fief d'Enval, devenu de Val, a d'abord appartenu aux familles de Thynières, puis à Pierre de Pierrefort.

Guillaume IV d'Estaing, né en 1397 de Jean, seigneur de Cheylade, et d'Elise de Pierrefort, est chambellan du roi Charles VII, gouverneur et sénéchal du Rouergue, puis bailli de Nîmes. Il achète Val et fait construire le château actuel. La famille d'Estaing possédera et habitera le château jusqu'à Guillaume V d'Estaing, dit Guillot, seigneur de Val, de Cheylade et de Landorre, né en 1529. Un certain nombre de familles vivront ensuite successivement dans le château, jusqu'à la famille d'Arcy.

En 1946, la famille d'Arcy est expropriée en vue de l'inondation de la vallée pour le barrage de Bort-les-Orgues. Elle emporte avec elle le mobilier du château. Finalement, la hauteur de l'engloutissement est revue à la baisse et le château ne sera pas englouti. Mais, laissé sans surveillance, il est pillé par des cambrioleurs en 1949, avant que le syndicat d'initiative de Bort-les-Orgues n'y installe un gardien en 1951. Devant l'insistance du président du syndicat d'initiative, Maurice Georges, EDF revend en 1953 le château pour un franc symbolique à la ville de Bort-les-Orgues, bien qu'il se situe sur la rive auvergnate du lac. Le syndicat d'initiative aura par la suite la responsabilité de la rénovation et de la gestion du site. EDF consent quant à elle à financer la construction d'une jetée permettant, lors des eaux hautes, d'accéder au château. Celui-ci est aujourd'hui un lieu touristique, et peut être visité.

Chaque été, une exposition de peinture contemporaine y est organisée. Il est d'usage que l'artiste croque le site du château. Une vaste collection s'est ainsi constituée (cf par exemple les œuvres de Bernard Buffet, Franz Priking, Jean Commère, Eugène Baboulène, Frédéric Menguy, Gabriel Dauchot).