Il monastero di Tashilhunpo fu fondato nel 1447 dal primo Dalai Lama, Gendün Drup, nipote e discepolo del famoso filosofo bhuddista Je Tsongkhapa. La costruzione fu interamente finanziata dalle donazioni dei nobili locali.

Nel 1791 il monastero fu saccheggiato durante un'invasione dei Gurkha, un popolo misto tra nepalesi e indiani, i quali riuscirono anche ad espugnare la stessa città di Shigatse; poco dopo però, un intervento armato cinese riuscì a ricacciare gli invasori fino a Kathmandu, stabilendo a carico degli sconfitti una pesante ammenda economica, oltre alla restituzione di tutto quello che era stato trafugato a Tashilhunpo (i cinesi avevano a loro volta ambizioni espansionistiche sia sul monastero sia sull'intero Tibet).

Fin dalle sue origini Tashilhunpo è stata la residenza dei vari Panchen Lama, e ognuno di essi ha provveduto ad ampliare gradualmente la costruzione. Nel 1995, Choekyi Gyalpo l'11° Panchen Lama nominato dal governo cinese è stato insediato in questo monastero, proprio mentre Gedhun Choekyi, il Panchen Lama riconosciuto dall'attuale Dalai Lama veniva posto sotto la "custodia protettiva" delle autorità cinesi.

Alle sue origini, Tashilhunpo contava circa 4000 monaci e quattro scuole di Tantra ognuna delle quali con un suo abate. Questi quattro abati, dopo la morte del Panchen Lama in carica, avevano il compito di ricercare una sua nuova reincarnazione e di comunicarne il nome al Dalai Lama. Nel 1960 il monastero fu quasi completamente distrutto da un attacco cinese, il Panchen Lama si salvò per puro caso, visto che non era sul luogo nel momento dell'attacco. C'è comunque da dire che i danni subiti da Tashilhunpo furono inferiori rispetto a quelli subiti da altri monasteri tibetani. Fu in quegli anni che molti influenti lama e monaci abbandonarono il Tibet e, rifugiatisi in India, Nepal e Bhutan ricostruirono i loro monasteri. L'ultimo Panchen Lama decise di non abbandonare mai il Tibet, e con lui restarono anche altri influenti lama, fino alla sua fine.

Così, mentre i monaci in esilio hanno sviluppato altri monasteri fuori dal Tibet, Tashilhunpo è rimasto abbandonato a se stesso, anche se nel 1972 fu costruito un nuovo campus, finanziato dai tibetani in esilio delle regioni del sud dell'India. Dagli anni '80 il monastero è stato aperto al pubblico ed è attualmente un'importante risorsa turistica del Tibet.