In de stad zijn prehistorische vondsten gedaan; de eerste historische vermelding van Takayama is uit de zevende eeuw. In de 16e en 17e eeuw regeerden hier de daimyo's van de familie Kanamori de han Takayama in de provincie Hida. De voormalige samurai Nagachika Kanamori, die leefde in het Edo-tijdperk, heeft Furui Machinami gesticht. Furui Machinami, betekent oude stad en is gelegen ten oosten van de rivier Miyagawa. Het ligt op slechts 10 minuten lopen van het station van Takayama. De inrichting van dit oude stadsgedeelte en de breedte van de straten zijn eigenlijk ongewijzigd gebleven sinds het meer dan 400 jaar geleden werd gesticht. Hier kan men nog de sfeer proeven zoals die gedurende de Edo periode was. Binnen Furui Machinami is de Sanmachi-dori (Drie steden straten), bestaande uit de straten Kamisannomachi, Kamininomachi en Kamiichinomachi, de belangrijkste bezienswaardigheid van de stad. De straten, die veel van de Japanse architectuur behouden hebben uit de tweede helft van het Edo-tijdperk tot de vroege helft van het Meiji-tijdperk, zijn door de Japanse overheid aangewezen als een belangrijke wijk met historische gebouwen.

Uit deze periode komen de historische gebouwen zoals de Takayama Jinja. In de 18e en 19e eeuw kwam de stad onder de directe invloed van het Tokugawa-shogunaat.

Op 1 januari 1936 werd de gemeente Takayama, na samenvoeging met een buurgemeente, een stad (shi).

Op 1 april 1943 en 1 april 1955 annexeerde de stad een dorp.

Op 1 februari 2005 werd Takayama uitgebreid met de gemeentes Kuguno (久々野町, Kuguno-chō), Kokufu (国府町, Kokufu-chō) en de dorpen Niyukawa (丹生川村, Niyūkawa-mura), Kiyomi (清見村, Kiyomi-mura), Shokawa (荘川村, Shōkawa-mura), Miya (宮村, Miya-mura), Asahi (朝日村, Asahi-mura), Takane (高根村, Takane-mura) en Kamitakara (上宝村, Kamitakara-mura).