Vor der Ankunft der europäischen Siedler am Ende des 18. Jahrhunderts war das Gebiet Teil der Heimat der Cherokee-Indianer, die der Landschaft wegen der häufig auftretenden Nebel den Namen „Shalonage“, „Ort des blauen Nebels“ gaben. Durch den im Jahre 1830 von Präsident Andrew Jackson unterzeichneten Indian Removal Act wurde ein Großteil der dort lebenden Indianer in andere Bundesgebiete umgesiedelt. Die Vertreibung wurde unter dem englischen Begriff „Trail of Tears“ (Pfad der Tränen) bekannt. Einige der Cherokees blieben jedoch in dieser Region und wurden vom abtrünnigen Krieger Tsali geführt. Sie versteckten sich in der Region des heutigen Great-Smoky-Mountains-Nationalparks. Ihre Nachfahren leben heute noch im Indianerreservat Qualla im Süden des Parks.

Als sich die weißen Siedler niederließen, entwickelte sich in der Gegend eine blühende Holzindustrie. Holz war ein begehrter Rohstoff und die im späten 19. Jahrhundert erbaute Eisenbahnlinie Little River Railroad, die für den Transport des Gutes von großer Bedeutung war, verhalfen der Gegend zu Reichtum und Wohlstand. Wilson B. Townsend, der Eigentümer von Little River Lumber, begann 1909 Elkmont als Touristenziel zu vermarkten. Innerhalb weniger Jahre entstanden das Wonderland Hotel und der Appalachian Club als Sommerfrische für die Elite von Knoxville.[1] Um dem immensen Kahlschlag der Wälder Einhalt zu gebieten, begannen Anfang der 1920er Jahre einige Mitglieder des Appalachian Clubs, unter anderem der Geschäftsmann Colonel David C. Chapman aus Knoxville, ernsthaft über eine Bewegung zur Einrichtung eines Nationalparks nachzudenken. Als Leiter der Great Smoky Mountains Park Commission hatte Chapman weitgehende Vollmachten um Gelder für Landerwerbungen einzuwerben und Park-Planungs-Maßnahmen zwischen örtlichen, staatlichen, und bundesstaatlichen Organen zu führen.[2]

Die National Park Service unterstützte das Begehren zur Errichtung eines Nationalparks und der amerikanische Kongress bewilligte 1926 das Vorhaben. Nachdem zusätzliche Geldgeber gefunden wurden, um das Land zu kaufen, konnte mit der Schließung der landwirtschaftlichen Betriebe und der Umsiedlung der Bewohner begonnen werden. Die offizielle Eröffnung des Parks fand am 15. Juni 1934 statt. 1983 wurde der Park von der UNESCO zum Weltnaturerbe ernannt.