Območje okoli Takajame je bilo del tradicionalne province Hida in je bilo poseljeno že v obdobju Džōmon. V obdobju Sengoku je Kanamori Nagačika vladal območju z gradu Takajama in mesto se je razvilo kot grajsko mesto. V obdobju Edo je bilo območje tenrjō pod neposrednim nadzorom šogunata Tokugava. V katastrskih reformah po obnovi Meidži je bilo ustvarjeno okrožje Ōno v prefekturi Gifu, mesto Takajama pa je bilo ustanovljeno leta 1889 z oblikovanjem sodobnega sistema občin. Takrat je bila najbolj naseljena občina v prefekturi Gifu. 1. novembra 1936 se je Takajama združila z mestom Onada in nastalo mesto Takajama.[14] Takajama je leta 1943 priključil vas Josue in leta 1955 vas Ohachiga. 1. februarja 2005 so mesto Kuguno in vasi Asahi, Kiyomi, Miya, Nyūkawa, Shōkawa in Takane (vse iz okrožja Ōno), mesto Kokufu in vas Kamitakara (obe iz okrožja Yoshiki) sta bili ustvarjeni za združitev in razširitev mesta Takajama.[1] Tako je Takajama postala največje mesto in največja občina na Japonskem po površini.