Il castello fu costruito dal XII secolo dai baroni di Beynac per bloccare e controllare la valle. Essendo lo strapiombo tale da scoraggiare la scalata della valle, le difese furono concentrate verso l'altipiano: doppie mura merlate, doppio fossato che approfondisce un rivellino naturale, doppio barbacane.

Alla morte di Adhémar de Beynac (1147-1189), crociato che morì senza eredi, Riccardo Cuor di Leone, re d'Inghilterra offrì Beynac a Mercadier, capo mercenario al suo servizio. Questi venne ucciso a Bordeaux nel 1200 e la baronia ritornò alla famiglia di origine. A partire dal 1241 la castellania, di cui faceva parte il castello di Commarque, venne divisa tra due fratelli, Gaillard e Mainard de Beynac. I due rami familiari si riunirono nel 1379.

Al tempo della guerra dei cent'anni, la fortezza di Beynac era una delle piazzeforti francesi. La Dordogna costituiva allora la frontiera tra Francia ed Inghilterra: non lontano, sull'altra riva della Dordogna, il castello di Castelnaud era in mano inglese.

La parte più antica del castello è un grosso dongione quadrato di stile romano, con poche aperture, una bertesca ed una garitta di vedetta, cui si appoggia un sottile vano scale come contrafforte e culminato da una terrazza merlata. Da una parte è un loggiato coevo, che vi si giustappone; il tutto è stato rimaneggiato ed ingrandito nel XVI e XVII secolo. Dall'altra parte si trova un loggiato in parte quattrocentesco, cui sono annessi un cortile e una scala a pianta quadrata che serve gli appartamenti del XVII secolo. Gli appartamenti hanno conservato le decorazioni in legno e un soffitto dipinto del XVII secolo, la Sala degli Stati del Périgord (così chiamata perché vi si riuniva la nobiltà di quattro baronie: Beynac, Biron, Bourdeilles, Mareuil) conserva un camino rinascimentale scolpito a bucrani; questa stanza si affaccia su un piccolo oratorio completamente decorato, nel XV secolo, con affreschi tra cui una Pietà, un San Cristoforo, un'Ultima cena in cui San Marziale compare come servitore. Si possono poi vedere sontuosi arazzi raffiguranti scene di caccia e altre scene della vita dei signori del tempo, tra cui la riproduzione delle insegne della famiglia Beaumont-Beynac, proprietaria del castello dal XVIII secolo al 1961.