Руины на картине Юзефа Маршевского (1866)

В 1337 году трокский князь Кейстут получил от своего отца Гедимина замок в Старых Троках. В 1375 году он переселился дальше на 3 км к озеру в Новые Троки — современный Тракай. Выступающий в озеро полуостров предоставлял более удобную для защиты позицию. Именно тут и была заложена Кейстутом новая резиденция. Почти одновременно началось строительство и островного замка, однако его остановила смерть Кейстута и междоусобная война его сына Витовта с Ягайлой.

По окончании междоусобиц Витовт возобновил строительство, которое продолжалось до 1409 года. После Грюнвальдской битвы 15 июля 1410 года замок утратил своё военное значение, так как основной противник Великого княжества Литовского — Тевтонский орден — был разгромлен. При Витовте замок переживал период своего расцвета. Роскошные приёмы и пиры устраивались в честь иностранных послов и высоких гостей со всей Европы. Здесь Витовт и умер 27 октября 1430 года.

К концу XVI века Троки постепенно отступают на задний план в политической жизни страны. Удалённость от главных торговых путей привела город к экономическому упадку. Вскоре Троки становятся местом ссылки неугодной знати; замок используется как тюрьма. Во время вторжения русской армии в 1655 году замок превратился в развалины.