Het is gebouwd op de berg Marpori (de rode berg) in Lhasa. Het ligt op enkele kilometers van de oude stadskern. De berg steekt zo'n 130 meter boven het omliggende dal uit. Onderaan de berg ligt het dorp Zhöl met onder meer de pilaar van Zhöl waarop een aantal inscripties die de oudst bekende voorbeelden zijn van het Tibetaanse schrift.

Het paleis is gebouwd op een plek waar mogelijk in de zevende eeuw een burcht was gebouwd door Songtsen Gampo. In 1648 werd door de vijfde dalai lama het zogenaamde 'Potrang Karpo' of 'witte paleis' gebouwd. Deze dalai lama gaf het de naam Potala naar het Potolaka, de naam voor het mythische paleis van de boddhisattva Avalokiteshvara

Na diens dood werd in 1694 het 'Potrang Marpo' of 'rode paleis' afgebouwd. De laatste verandering vond plaats in 1922 toen de dertiende dalai lama veel renovaties doorvoerde en twee verdiepingen bijbouwde.