Twierdza została wzniesiona przez Węgrów w miejscu rzymskiego Castrum Columbarum najprawdopodobniej w drugiej połowie XIII wieku[1]. Po raz pierwszy Golubac wzmiankowany jest jednak dopiero w 1335 roku[1], jako węgierska twierdza graniczna[2]. W 1391 roku forteca została zajęta przez Turków[1]. Przez wieki przechodziła z rąk do rąk Węgrów, Turków, Serbów i Habsburgów, by w 1867 roku znaleźć się w posiadaniu Serbii[1][2]. 12 czerwca 1428r, podczas walki z Turkami, w Golubacu zginął Zawisza Czarny z Garbowa[3], co jest upamiętnione tablicą.