Le monastère, encore doté de tous ses bâtiments, derrière son enceinte (1938)

Aux XIVe et XVe siècles, Gyantsé devint un fief lié à l'école Sakyapa. Un dzong remplaça, vers 1365, un château édifié à l'époque des rois de Yarlung et qui englobait l'ensemble de la ville entre ses murailles. Un grand temple (tsglag khang) fut établi à proximité en 1390[1].

La ville amorça son déclin à partir de la fin du XVe siècle tout en restant un grand centre du commerce du bois et de la laine entre l'Inde et le Tibet[2].

La forteresse eut à subir les assauts des envahisseurs népalais[3].

L'explorateur et médecin anglais Thomas Manning, séjournant à Gyantsé en 1811, décrit la ville comme étant pour moitié sur une colline et pour l'autre au pied de cette colline, ajoutant que les jolies maisons de pierre blanche que l'on voit de loin se muent, vues de près, en murs d'un blanc sale[4].

La ville est surnommée la « ville héroïque » car en 1904, 500 soldats tibétains tinrent la forteresse plusieurs jours durant avant d'être défaits par les forces britanniques lors de l’invasion par l'armée de l'Inde britannique menée par Younghusband.

À la suite de la signature du traité inégal de la convention entre la Grande-Bretagne et le Tibet en 1904 (amendé par le traité de Pékin de 1906), Gyantsé devint, avec Yatung et Gartok, un des trois comptoirs britanniques du Tibet. Jusqu'en 1947, un agent commercial britannique (trade agent) y résida sous la supervision de l'agent politique britannique au Sikkim[5]. Une garnison britannique y stationna également[6], ainsi qu'une école militaire ouverte par la Grande-Bretagne pour former les officiers tibétains[7],[8]. Le 13e dalaï-lama y envoya des troupes pour qu'elles s'y familiarisent avec les méthodes anglaises[9]. Les Britanniques ouvrirent aussi un dispensaire[10].

En 1923, le 13e dalaï-lama y établit la première école anglaise mais elle dut fermer en 1926 en raison, selon Jérôme Edou et René Vernadet, de l'opposition des monastères[11], ou, selon Yangdon Dhondup, des factions conservatrices du clergé[12].

L'exploratrice Léa Lafugie rapporte avoir croisé, dans la ville dans les années 1930, des prisonniers aux chevilles passées dans de lourdes barres de fer qui les obligeaient à marcher les jambes écartées. Lâchés à l'aube et repris au crépuscule, ils mendiaient leur nourriture, l'administration pénitentiaire n'y pourvoyant pas[13].

En 1954, la ville fut gravement affectée par des inondations[14].

Après le soulèvement tibétain de 1959, les industries locales furent démantelées et des artisans fuirent tandis que les autres furent placés en camp de travaux forcés. Environ 400 moines et laïcs furent emprisonnés dans le monastère[15].

Pendant la révolution culturelle la forteresse, le monastère et le Kumbum[16] furent mis à sac, les objets précieux étant détruits ou envoyés dans l'est du pays, toutefois, le chorten fut épargné[15].