El mont Huang fou format fa aproximadament 100 milions d'anys i va adquirir la seva peculiar formació de roques en la glaciació quaternària.[1]

Durant la dinastia Qin, el mont fou conegut com a Yishan (mont Yi). L'any 747 dC, se li va canviar el nom per Huangshan per un decret imperial;[2] es creu que el nom fou encunyat en honor de l'emperador Huang Di (l'emperador Groc), un emperador xinès llegendari i l'avantpassat mitològic de l'ètnia Han;[3] hi ha una llegenda que diu que el mont Huang havia estat el lloc des d'on l'emperador Groc havia ascendit al cel.[4] Una altra llegenda diu que l'emperador Groc cultivà el caràcter moral i la seva immortalitat en aquestes muntanyes, i fent això donà a les muntanyes el seu nom.[1] El primer ús del nom mont Huang s'atribueix sovint al poeta xinès Li Bai.[3] El mont Huang restà inaccessible i poc conegut en èpoques antigues, però el canvi de nom l'any 747 dC sembla que comportà un augment de l'interès en la zona; des de llavors, ha estat visitat amb freqüència i s'hi han construït diversos temples.[2]

Mont Huang és conegut per les seves escales de pedra,[4] tallades en un costat de la muntanya; hi ha més de 60.000 esglaons al llarg de l'àrea.[5][6][7] Es desconeix la data en què es van tallar els esglaons, però es diu que tenen més de 1.500 anys d'antiguitat.[6]

Al llarg dels anys, s'ha donat nom a diversos miradors i indrets determinats de la muntanya;[8] molts dels noms tenen un rerefons narratiu. Per exemple, una llegenda narra la història d'un home que no creia en les històries de la bellesa del mont Huang i decidí anar-hi per ell mateix; i fou convençut immediatament. Un dels cims que se suposa que visità fou anomenat Shixin (视信), que vindria a significar 'creure després de veure'.[8]

L'any 1982, el mont Huang fou declarat un "indret de bellesa escènica i interès històric" pel Consell d'Estat de la República Popular de la Xina.[2] Fou declarat Patrimoni de la Humanitat l'any 1990 per la UNESCO pels seus paisatges i el seu rol com a hàbitat per espècies rares i amenaçades.[9]

L'any 2002, el mont Huang fou anomenat muntanya germana de la muntanya Jungfrau, als Alps suïssos.[4]