Avant l'arrivée des colons européens, le parc faisait partie des terres de la tribu Cherokee. L'installation des pionniers commença au XVIIIe siècle et au début du XIXe siècle. En 1830 le président Andrew Jackson signa l'Indian Removal Act débutant ainsi l'expulsion de toutes les tribus indiennes situées à l'est du Mississippi vers l'actuel État de l'Oklahoma. La plupart des Cherokees partit, mais quelques-uns, conduits par Tsali, se réfugièrent dans les Great Smoky Mountains. Certains de leurs descendants vivent dans la réserve de Qualla située au sud du parc (plus exactement la Qualla boundary qui n'est pas une réserve indienne au sens habituel, c'est-à-dire créée par le gouvernement américain ou un Etat fédéré, mais un trust créé par des Indiens Cherokees qui eurent l'idée d'acheter leurs propres terres et de se faire délivrer des titres de propriété reconnus par le droit américain afin d'être protégés par lui).

 Habitation John Cable à Cades Cove.

Après l'installation des Européens, l'industrie du bois prit de l'ampleur et une ligne de train, la Little River Railroad, fut construite à la fin du XIXe siècle pour transporter le bois depuis les lieux les plus reculés de la région. La coupe effrénée d'arbres détériorant le paysage, des visiteurs et des locaux s'associèrent pour lever des fonds afin de préserver la zone. Le National Park Service souhaitait un parc dans l'est du pays, mais ne voulait pas dépenser d'argent pour le créer. Bien qu'autorisée par le Congrès en 1926, la création du parc prit du temps car il n'y avait pas suffisamment de terrains qui étaient propriété de l'État fédéral. John Rockefeller Jr. fit un don de 5 millions de dollars, le gouvernement des États-Unis ajouta 2 millions de dollars et des citoyens du Tennessee et de Caroline du Nord participèrent pour assembler le terrain du parc, lot par lot. Le parc fut officiellement créé le 15 juin 1934. Durant la Grande Dépression, le Civilian Conservation Corps, la Work Projects Administration et d'autres institutions fédérales créèrent des sentiers, des tours de surveillance d'incendies et d'autres infrastructures pour améliorer le parc.

Le parc fut déclaré réserve de biosphère en 1988[1],[2] et classé au Patrimoine mondial de l’UNESCO en 1983.