Menurut bangsa Lao, Pha That Luang pada awalnya dibangun sebagai candi Buddha pada abad ketiga. Para misionaris dari kekaisaran Maurya diyakini dikirimkan kaisar Asoka, termasuk Bury Chan atau Praya Chanthabury Pasithisak dan lima biarawan Arahata yang membawa suatu relik suci (diyakini tulang dada Sang Buddha) ke candi.[1] Pha That Luang dibangun kembali pada abad ke-13 sebagai candi Khmer yang jatuh dalam kehancuran.

Pada abad pertengahan abda ke-16, Raja Setthathirath memindahkan ibu kotanya dari Luang Prabang ke Vientiane dan memerintahkan pembangunan Pha That Luang pada tahun 1566.[2] Candi ini dibangun kembali sekitar 4 kilometer dari pusat Vientiane di ujung Jalan That Luang dan dinamakan Pha That Luang.[1] Pondasi-pondasi masing-masing memiliki panjang 69 meter dan tinggi 45 meter dan dikelilingi oleh 30 stupa kecil.[1]

Pada tahun 1641, seorang utusan Belanda dari Perusahaan Hindia Timur, Gerrit van Wuysoff, mengunjungi Vientiane dan dia diterima di Candi oleh Raja Sourigna Vongsa dan dilaporkan diterima di dalam suatu upacara yang agung. Dia menulis bahwa dia khususnya merasa terkesan dengan "piramida yang besar sekali dan atapnya yang dilapisi emas yang beratnya sekitar seribu pounds".[3] Namun candi ini dirampok berkali-kali oleh orang Burma, Siam dan Cina.[2]

Pha That Luang dihancurkan oleh invasi Thai pada tahun 1828 yang meninggalkannya dalam kondisi rusak berat dan telantar. Baru pada tahun 1900 Prancis mengembalikannya ke desain aslinya berdasarkan gambar detail dari 1867 oleh arsitek dan penjelajah Prancis bernama Louis Delaporte.[2] Namun usaha pertama mengembalikannya gagal dan candi ini harus dirusak dan dibangun kembali pada tahun 1930.[2]