Die zwischen zwei schroffen Basaltkegeln erbaute Burg wurde 1396 als Besitz des Vinzenz von Wartenberg erstmals erwähnt. Sie trug bereits damals den Namen Trosky (Ruinen). Es wird angenommen, dass sie in der zweiten Hälfte des 14. Jahrhunderts entstanden ist. Nach Vinzenz’ Tod 1399 fiel die Burg an den böhmischen König Wenzel IV. Dieser verkaufte die Burg und die Herrschaft an Otto den Älteren von Bergow.

Dessen Sohn Otto der Jüngere von Bergow war ein strenger Katholik. Er konnte im Jahr 1424 einer Belagerung der Hussiten widerstehen. 1428 zerstörte ein Brand die Burg bis auf den Jungfrauenturm. Im Jahr 1438 eroberten der Raubritter Christoph Schof von Helfenburg (Kryštof Šof z Helfenburka) und sein Kumpan, der Schweizer (Švejcar) die Burg und nahmen Otto den Jüngeren von Bergow gefangen. Im Jahr 1440 scheiterte der Versuch, sie aus der Burg zu vertreiben. Mit Unterstützung des Oberlausitzer Sechsstädtebundes konnte die Burg 1444 zurückerobert werden.

1452 verkaufte der Sohn Ottos, Johann von Bergow, die Burg mit zugehöriger Herrschaft an Johann Zajíc von Hasenburg auf Kost. 1469 wurde die Burg vom königlichen Feldherren Jiří z Poděbrad eingenommen. Danach wechselte die Burg noch mehrfach den Besitzer, bis sie Jindřich Smiřický von Smiřice 1559 kaufte und in seine Herrschaft eingliederte. Deren Mittelpunkt lag unweit von Trosky in Hrubá Skála, und so verlor die Burg ihre einstige Bedeutung; sie war fortan nur noch Wohnort der herrschaftlichen Beamten und Verwaltungszentrum. Sie blieb es auch, nachdem der Besitz der Familie Smiřický 1618 an Wallenstein fiel. Dennoch spielte Trosky im Dreißigjährigen Krieg eine militärische Rolle: 1639, 1642 und 1648 wurde sie von den Schweden eingenommen und als Festung gehalten. Das kaiserliche Heer vertrieb die schwedische Armee 1648 und setzte die Burg in Brand, bei welchem wichtige Dokumente vernichtet wurden. Während der Flucht wurden zahlreiche Gemälde, welches das Aussehen der damaligen Burg darstellen, mitgenommen.[1] 1681 beschrieb Bohuslav Balbín Trosky bei einem Besuch als größtenteils reparabel, eine Instandsetzung unterblieb jedoch, und so wurde die Burg aufgegeben und verfiel.