Край крепостта са намерени развалини от римски град. Имало е и римска крепост на това място, наричана Колубария. От 803 г. до 1018 г. районът е част от Първо българско царство. Местността попада под византийска власт, но след 1193 г. крепостта отново е в пределите на българската държава до 1257 г. През 1335 г. районът около крепостта е окупиран от унгарската армия.

Между 1345 г. и 1355 г. сръбският цар Стефан Душан превзел района Бръмичево и крепостта. Голубац бил държан от Хабсбургската монархия в периода 1688 – 1690 и 1718 – 1739. Сръбските бунтовници го контролират по време на Кочина крайна (1788 – 1791) и отново през 1804 – 1813 по време на Първото сръбско въстание. След това тя пада под османски контрол до 1867 г., когато заедно с Калемегдан и други градове в Сърбия е дадена на княз Михаил Обренович от Сърбия.