Pha That Luang, según los laosianos, se construyó originalmente como un templo hindú en el siglo III. Se cree que el emperador Ashoka envió a misioneros budistas del Imperio maurya, como Bury Chan, Praya Chanthabury Pasithisak y cinco monjes arahata, que trajeron a la estupa una reliquia sagrada de Buda (que se cree que es el esternón).[1]​ Fue reconstruida en el siglo XIII como un templo jemer que quedó en ruinas.

A mediados del siglo XVI, el rey Setthathirat trasladó la capital de Luang Prabang a Vientián y en 1566 ordenó la construcción de Pha That Luang.[2]​ Fue reconstruida a unos 4 km del centro de Vientián, al final de That Luang Road, y se llamó Pha That Luang.[1]​ Las bases tenían una longitud de 69 metros cada una y tenía 45 metros de altura, y estaba rodeado por treinta estupas pequeñas.[1]​

En 1641, un enviado holandés de la Compañía Neerlandesa de las Indias Orientales, Gerrit van Wuysoff, visitó Vientián y fue recibido por el rey Sourigna Vongsa en el templo con una magnífica ceremonia. Escribió que le impresionó especialmente la "enorme pirámide cuya la parte superior estaba cubierta con pan de oro que pesaba unas mil libras".[3]​ Sin embargo, la estupa fue saqueada en varias ocasiones por los birmanos, siameses y chinos.[2]​

Pha That Luang fue destruida en la invasión tailandesa de 1828, que la dañó gravemente y se abandonó. No fue hasta 1900 cuando los franceses la restauraron con su diseño original, según los detallados dibujos de 1867 del arquitecto y explorador francés Louis Delaporte.[2]​ Sin embargo, el primer intento de restaurarla fue un fracaso y tuvo que ser rediseñada y reconstruida en la década de 1930.[2]​ Durante la Guerra franco-tailandesa, Pha That Luang resultó gravemente dañada por los ataques aéreos tailandeses. Tras el final de la Segunda Guerra Mundial, se reconstruyó de nuevo.