За свою довгу, майже тисячолітню історію замок тричі перебудовувався. Від першого замку залишилося лише письмове свідоцтво про його існування у першій половині XI століття — він був просто вщент зруйнований після 10-місячної облоги в 1423 році.

Другий замок, більший і надійніший, був побудований між 1454–1461 роками і служив притулком для Швабських католиків Гогенцоллернів у воєнний час, зокрема під час Тридцятирічної війни. Проте, наприкінці XVIII століття, замок втратив своє стратегічне значення і поступово занепав. Було знесено кілька старих будинків. Сьогодні від середньовічного замку залишилася тільки каплиця.

Третя версія замку, яку можна побачити сьогодні, була побудована для короля Пруссії Фрідріха-Вільгельма IV між 1846–1867 роками, під керівництвом Фрідріха Августа Штюлера (Friedrich August Stüler), у неоготичному англійському стилі, на який його надихнули замки Луари. Оскільки замок був побудований як сімейний пам'ятник, жоден з членів Гогенцоллернів не жив у цьому третьому замку до 1945 року, коли він став резиденцією для останнього спадкоємця, кронпринца Німецької імперії та Прусського королівства Вільгельма III. Він похований там зі своєю дружиною Цецилією Мекленбург (Cecilie zu Mecklenburg).