L'histoire du monument est mal connue. Tout ce que l'on sait, c'est qu'il est lié à l'histoire du roi Setthathirat après qu'il se fut installé à Vientiane entre 1550 et 1570 environ[1]. Quant à sa fonction, là encore, il n'y a pas de certitude : on pense qu'il s'agit d'un reliquaire plutôt qu'un monument funéraire, mais sans que l'on sache très bien ce qu'il contient. Peut-être un reste corporel du Bouddha Shakyamuni, mais cela reste imprécis[1].

Selon la légende toutefois, l'origine du site remonterait au IIIe siècle av. J.-C. : des envoyés de l'empereur indien Açoka auraient apporté le sternum de Bouddha et un stupa aurait été construit pour recevoir cette relique. Cependant, les recherches effectuées n'ont pas mis en lumière de vestiges datant de cette époque. Les plus anciens éléments trouvés sur le site datent de l'époque khmère, vers les XIIe et XIIIe siècles ap. J.-C.

Le premier état attesté du stupa date de 1566 : le roi Setthathirat — dont on a érigé une statue devant le cloître — construit ou reconstruit le monument. Détruit par les Siamois au XVIIIe siècle puis à nouveau lors du sac de la ville en 1827, le stupa est reconstruit par le roi Anou.[réf. nécessaire] C'est lui qui ajoute le cloître.

Mais au fil des années, le monument se dégrade à nouveau. Il est restauré vers 1901 par l'École française d'Extrême-Orient, mais les options architecturales choisies déplaisent à la majorité des Laotiens qui voudraient retrouver une forme plus proche des origines. En s'appuyant sur des documents anciens, notamment les dessins fais par Louis Delaporte en 1866, les Français modifièrent le monument entre 1931 et 1935 pour tenter de lui redonner son style lao originel en forme de bouton de lotus.

Pour le 450e anniversaire de Vientiane, en novembre 2010, l'esplanade, devenue trop étroite pour la fête du That Luang, a été élargie : sa surface est passée de 7,67 à 12,75 hectares (241 familles vivant à proximité ont été relogées en banlieue). Une nouvelle route d'accès a été créée au nord et un nouveau temple, le Hor Thammasapha, a été construit.