Het oorspronkelijke, middeleeuwse kasteel, dat in het jaar 1267 voor het eerst schriftelijk vermeld werd maar waarschijnlijk al in de 11e eeuw was gebouwd, werd in het jaar 1423 na een bijna jaarlange belegering door de Zwabische vrijsteden veroverd en verwoest. Van dit kasteel bestaan slechts nog schriftelijke bronnen.

In 1454 wordt begonnen met de bouw van een nieuw kasteel. Dit kasteel werd in de Dertigjarige Oorlog, hoewel het tot sterke vesting uitgebouwd was, veroverd door de Württembergers. Na de Dertigjarige Oorlog was het kasteel voornamelijk in Habsburgse handen, maar werd tijdens de Oostenrijkse Successieoorlog in de winter van 1744-1745 door Franse troepen bezet. Na het vertrek van de laatste Oostenrijkse bezetters in 1798 raakte het kasteel in verval. Aan het begin van de 19e eeuw was het een ruïne; slechts de St. Michaelskapelle was behouden gebleven. Het plan tot wederopbouw werd in 1819 door de toenmalige kroonprins en latere koning Frederik Willem IV voorgesteld.

Het kasteel is in zijn huidige vorm een bouwwerk van de Berlijnse architecten Friedrich August Stüler, die in 1842 als leerling en opvolger van Karl Friedrich Schinkel tot "Architect van de Koning" benoemd was. Eerstgenoemde architect gold als vertegenwoordiger van de neogotiek in de Duitse gebieden. De indrukwekkende opritten waren een ontwerp van ingenieur-officier Moritz Karl Ernst von Prittwitz, die destijds de leidende Pruisische vestingbouwmeester was. De beeldhouwkunst was van de hand van Gustav Willgohs. Voor sommige mensen is Burg Hohenzollern een expressie van de romantische geest van alle tijden en toont het de toenmalige ideaalbeeld van een middeleeuwse ridderburcht. Wat dat betreft is de gedachte achter Burg Hohenzollern vergelijkbaar met die van Slot Neuschwanstein. Voor anderen is het kasteel een resultaat van de politieke macht van de heerser van Pruisen, die het kasteel van zijn voorvaderen weer opgebouwd wilde zien.

In 1850 werd de eerste steen gelegd. De bouw werd gefinancierd door zowel de Brandenburg-Pruisische als de Swabische Hohenzollernfamilies. In 1867 werd de bouw door Wilhelm I voltooid. Op 3 september 1978 raakte het kasteel bij een aardbeving ernstig beschadigd. De restauratie duurde tot in de jaren 90.
De burcht was na de wederopbouw in de 19e eeuw nooit voor lange tijd bewoond en had uitsluitend een ceremoniële functie. Slechts de laatste Pruisische kroonprins Wilhelm woonde na zijn vlucht uit Potsdam eind 1945 enige maanden in het kasteel. Wilhelm en zijn vrouw (Cecilie van Mecklenburg-Schwerin) zijn in het kasteel begraven.