Tras la muerte del fundador del castillo Čeněk de Vartenberk, el edificio pasó a pertenecer al rey Wenceslao IV.[1]​ En el año 1398, Ota de Bergov consiguió el castillo y todas las tierras señoriales, que fue heredado por su hijo Ota quien, católico, fue perseguido por las tropas husitas, que asediaron el castillo en el año 1424. En el año 1455, el hijo de Ota, Jan, lo vendió junto todas las tierras señoriales al señor de las tierras colindantes y del castillo de Kost, Jan Zajíc de Hamburk.[1]​

En el año 1469 fue conquistado por las tropas reales. El castillo llegó a ser el centro de la administración económica y varias veces cambió de propietario. Durante la guerra de los Treinta Años el castillo fue abandonado, pero no fue demolido.

Las fuentes no dicen nada de cómo era el castillo en sus orígenes. No se conservan cuadros ni grabados, ya que todos los archivos fueron quemados.[1]​ Algunas fuentes revelan que el único cuadro histórico de Trosky lo robaron los suecos durante la guerra de los Treinta Años del palacio Hrubá Skála y lo llevaron a Suecia. En 1821 la dinastía de Valdštejn vendió Trosky a Jan Lexa de Aehrental. Su hijo Alois inició en el año 1841 la construcción de una escalera en forma de espiral para hacer accesible el pico de Panna y aprovechar así las vistas hacia todo el territorio del Paraíso Checo. Murió en 1843 y la construcción quedó sin finalizar.[2]​

En el año 1928 pasó a ser propiedad del Club de Turistas Checos. En el año 2000 fue construido un mirador bajo la torre Panna. Así mismo, también se reconstruyó la escalera y el mirador en la torre Baba. Más tarde, el castillo pasó bajo propiedad del Estado y a ser administrado por el Instituto Nacional de Monumentos.[1]​