Pogled z Babe na Panno

Grad je dal zgraditi Čeněk Vartenberški v drugi polovici 14. stoletja.[1] Zgrajena sta bila stolpa na obeh skalah, med njima pa različna stanovanjska poslopja in pomožne zgradbe. Okrog kompleksa so postavili tri utrjene zidove v koncentričnih krogih. Po Čeněkovi smrti je grad prešel v last kralja Venčeslava IV., od njega pa ga je prevzel Ota Bergovski. Njegov sin je bil vnet katolik, a je kljub temu oplenil bližnji samostan v Opatovicah in ukradel njegov slavni zaklad,[2] ki ga je po izročilu skril v gradu, domnevno v podzemni kleti, ki jo zapira velika skala.[3] To naj bi sčasoma prekril grušč, zato je za vedno zaprta.

Med husitskimi vojnami je bil Trosky postojanka prokatoliške strani in Husiti ga verjetno niso nikoli v celoti osvojili, je pa med obleganjem v začetku 15. stoletja pogorel. Leta 1438 se je v njem naselil ropar Kryštov Šov s svojim pajdašem Švejkarjem in začel terorizirati območje, dokler ju niso prebivalci ujeli. Po tistem je menjal več lastnikov in njegov pomen je upadel, med tridesetletno vojno v 17. stoletju pa ga je cesarska vojska požgala do tal. Iz leta 1681 je ohranjen zapis jezuita Bohuslava Balbína o obisku.

Večjega zanimanja je bil grad spet deležen v 19. stoletju in ruševino so delno prezidali v romantičnem slogu. Začela se je tudi gradnja stopnišča do stolpa Panna, ki pa ni bila zaključena.[1]