Zamek powstał prawdopodobnie po 1081, podczas najazdów Normanów na Walię. Był jedną z ośmiu warowni wzniesionych w celu obrony Cardiff i kontrolowania trasy wzdłuż rzeki Taff. Był on okrągłą rezydencją typu motte, o średnicy 35 i wysokości 25 metrów. Z powodu przesunięcia granic po 1093 zamek został opuszczony[1].

W 1267 obiekt został przejęty przez Gilberta de Clare'a. Do 1277 wzmocnił mury, wybudował dwie baszty i most obrotowy. Po śmierci Gilberta przeszedł on w ręce jego żony, Joanny. W tym czasie znano go pod łacińską nazwą Castrum Rubeum. Od 1307 zamkiem panował syn Joanny i Gilberta, również o imieniu Gilbert. Zginął on w 1314 w bitwie pod Bannockburn. Jego śmierć doprowadziła do powstania miejscowej ludności, która w 1314 zniszczyła rezydencję[1].

W 1760 ruiny zamku zostały zakupione przez 3. hrabiego Bute, Johna Stuarta. W 1850 George Thomas Clark zbadał ruiny warowni, napisał na jej temat pracę naukową i doradził, by poddać budynek konserwacji[1]. W 1871 ruiny oczyszczono z obrastających je roślin[2] na zlecenie Johna Crichtona-Stuarta. W 1875 rozpoczęto odbudowę zamku na podstawie planów Williama Burgesa. Większość prac zewnętrznych ukończono w 1879. Po śmierci Burgesa w 1881 kierownictwo nad budową przejął jego szwagier, Richard Pullan, który z kolei zlecił kierowanie pracami Williamowi Frame'owi. W 1891 ukończono pracę we wnętrzach. W tym samym roku usunięto oratorium na jednej z baszt. Po śmierci hrabiego w 1900 zamek przeszedł w ręce jego żony i córki.[1] Od 1873 obszar o powierzchni 3 akrów okalający rezydencję służył jako winnica. Produkcję wina zatrzymano w 1914 z powodu problemów z dostawami cukru, a w 1920 winorośle wycięto[3].

W 1950 rodzina oddała zamek w ręce Ministerstwa Prac Publicznych. Resort oddał znajdujące się w warowni obrazy rodziny Cochów do National Museum Cardiff. Od 1984 obiekt jest administrowany przez walijską agendę rządową, Cadw[1].