Geschichtliche Zeugnisse gibt es bis zurück ins 7. Jahrhundert. Im 16. und 17. Jahrhundert regierten die Kanamori von hier aus das Han Takayama in der Provinz Hida. 1692 wurden die Kanamomori nach Kaminoyama in Dewa (heute Präfektur Yamagata) versetzt. 1695 wurde die Burg auf dem Shiroyama abgerissen, die Stadt kam unter die direkte Verwaltung durch das Shogunat. Aus dieser Zeit stammen viele charakteristische Gebäude, insbesondere das Takayama Jin’ya, der von einer Mauer umgebene Verwaltungssitz in der Stadt, die am besten erhaltene Anlage dieser Art in Japan. 1937 erhielt Takayama den Status einer Stadt.