Замок Пернштейн був побудований, ймовірно, в середині XIII століття в ранньо-готичному стилі. Він був постійним місцеперебуванням моравського дворянського роду Пернштейн і вперше був згаданий у 1286 році. Герб Пернштейнів - голова тура - знаходиться над вхідним порталом у палац замку.

На початку XV століття замок був додатково укріплений захисними системами. З'явилося потужне пізньо-готичне укріплення з новими вежами, стінами і бастіонами. При Йогані фон Пернштейн замок був перебудований в чудову резиденцію в стилі епохи Відродження. Через борги Пернштейни були змушені продати замок в 1596 році.

Протягом наступних століть новими власниками всередині замку були проведені невеликі зміни, таким чином зовнішній вигляд замку в основному відповідає стану в XVI столітті.

15 квітня 2005 частини горищ були знищені в результаті великої пожежі.

Замок служив знімальним майданчиком для численних кінофільмів, у тому числі «Носферату - привид ночі». У 1975 р. в замку проходили зйомки фільму-казки «Принцеса на горошині» радянського кінорежисера Бориса Рицарева.