Les alentours de Takayama sont habités depuis la période Jōmon il y a environ 8 000 ans. Elle est devenue la capitale de l'ancienne province japonaise de Hida. La ville est réputée pour le travail du bois. Ses charpentiers (parmi les meilleurs du Japon) ont contribué à la construction des anciennes capitales impériales : Nara et Kyōto. L'origine de ces charpentiers vient du fait que la ville ne pouvant pas payer d'impôts en riz, à cause du climat qui diminue la production, le gouvernement exigea que ses ouvriers participent à des chantiers de construction dans tout le pays.

Au cours du XVIe siècle, la ville se dota d'un château dont la construction fut ordonnée par Takayama Geki. Il fut détruit en 1695 par le clan Tokugawa, mais ses ruines se trouvent maintenant sous le parc Shiroyama.

La ville de Takayama a été officiellement fondée le 1er novembre 1936.

Le 1er février 2005, neuf villes et villages du district d'Ono et du district de Yoshiki (qui n'existe plus depuis cette date) ont fusionné, ce qui a considérablement étendu la ville. Les communes qui ont fusionné sont Asahi, Kiyomi, Kuguno, Miya, Nyukawa, Shokawa, Takane, Kamitakara et Kokufu.