Met de bouw van het kasteel werd in de tweede helft van de 14e eeuw begonnen in opdracht van prins Kęstutis. Het werd in 1409 voltooid tijdens het bewind van grootvorst Vytautas de Grote, die in 1430 in dit kasteel overleed.

Na de Slag bij Tannenberg in 1410 waarbij de Duitse Orde, de erfvijand van het Pools-Litouwse bondgenootschap, uitgeschakeld werd, verloor het kasteel zijn militaire belang. Het kreeg een bestemming als woonresidentie van de grootvorst van Litouwen en later als zomerpaleis voor de koningen van Polen (die tevens grootvorst van Litouwen waren). Het interieur werd gedecoreerd met fresco's; een deel daarvan is bewaard gebleven.

Daarna fungeerde het kasteel als gevangenis. In de oorlogen met het grootvorstendom Moskou in de 17e eeuw werd het kasteel beschadigd. De schade werd aanvankelijk niet hersteld en het kasteel raakte in verval.