Les ruines d'un château médiéval, le Reichsburg Kyffhausen, sont situées sur les pinacles rocheux près de Bad Frankenhausen. La forteresse fut reprise par Lothaire de Supplinbourg, le duc de Saxe, pendant sa confrontation avec l'empereur Henri V en 1118. Plus tard, elle fut un lieu de résidence de la maison de Hohenstaufen.

Selon une vieille légende, l'empereur Frédéric Barberousse se serait, avec sa suite de fidèles, endormi dans une caverne au cœur du Kyffhäuser, d'où il se réveillera un jour pour rétablir l'empire germanique dans son unité et sa splendeur. Un monument inspiré par ce mythe populaire a été édifié à la fin du XIXe siècle sur un sommet secondaire du massif.