El castillo de Pernštejn fue construido probablemente a principios del siglo XIII. El primer propietario conocido fue Stephan de Medlov, mencionado por primera vez en 1208 en un documento del obispo de Olomouc, Robert, como hijo de Gothard ("Stephano, viro nobili filio Gothardi") y burgrave real del castillo de Děvičky situado en Moravia del Sur (Maidenburg) a principios de la década de 1220. Stephan de Medlov es considerado el progenitor de los posteriores señores de Pernštejn. El escudo de armas de los Pernštejn, la cabeza de un buey, se encuentra en el palacio del castillo sobre el portal de entrada.

Guillermo I de Pernštejn, documentado por primera vez en el año 1381, estaba al servicio del Margrave Jobst y fue gobernador de Moravia. Su nieto del mismo nombre Guillermo II. fue uno de los nobles más importantes e influyentes de Bohemia y Moravia. Durante su reinado, el castillo fue refortificado y ampliado con una torre cuadrada. También se reforzó con una nueva muralla, un foso y puente colgante. Su hijo Juan IV de Pernštejn "el Rico" reconstruyó el castillo para convertirlo en una magnífico ejemplo representativo del estilo del Renacimiento italiano. Los sistemas defensivos adicionales crearon una formidable fortificación con nuevas torres, murallas y bastiones. El hijo de Juan, Vratislav, cuyas residencias se encontraban entre las más distinguidas y humanistas de su tiempo, hizo establecer una biblioteca y diversas colecciones de arte en el castillo, pero dejó enormes deudas. Por esta razón, su hijo Johann tuvo que vender el castillo en 1596.[1]​

Después de frecuentes cambios de propiedad, el castillo pasó a manos de Franz Edler Stockhammer en 1710. Hizo rediseñar parcialmente el castillo en estilo rococó. La capilla del castillo y el pabellón chino fueron decorados con frescos de Franz Gregor Ignaz Eckstein, y el escultor de Brno Andreas Schweigel creó esculturas para el parque. En 1793, el castillo pasó a manos de Ignaz Schröffel von Mannsberg, cuya hija Josefa se casó con el conde Wilhelm Mitrowsky von Mitrowitz und Nemischl ( Vilém hrabě Mitrovský z Mitrovic a Nemyšle; 1789–1857) en 1813. Tras la muerte de su suegro en 1818, recibió la mitad del castillo.[2]​ En 1828 adquirió la segunda mitad de la hermana de su esposa. Después, el castillo y sus dominios permanecieron en manos de sus descendientes hasta que fueron expropiados en 1945. En el siglo XIX se realizaron varios cambios estructurales. Sin embargo, no se llevó a cabo una reconstrucción al estilo del historicismo planeada por August Prokop. El aspecto del castillo corresponde en gran medida a su estado del siglo XVI.