Il sentiero fu concepito da Benton MacKaye, una guardia forestale che scrisse il suo piano originale poco dopo la morte di sua moglie nel 1921. L'idea di MacKaye era quella di un grandioso sentiero che avrebbe collegato una serie di fattorie e di campi di lavoro o di studio della natura selvaggia per i residenti della città. Nel 1922, con l'aiuto di William A. Welch, direttore della Palisades Interstate Park Commission, la sua idea fu pubblicizzata da Raymond H. Torrey in un articolo del New York Evening Post (futuro New York Post) sotto il titolo a tutta pagina A Great Trail from Maine to Georgia! ("Un grande sentiero dal Maine alla Georgia!"). L'idea fu rapidamente adottata dalla Palisades Interstate Park Trail Conference (futura New York – New Jersey Trail Conference) in qualità di progetto principale.

 Il Bear Mountain Bridge che attraversa il fiume Hudson è utilizzato dal Sentiero degli Appalachi.

Il 7 ottobre 1923, fu aperta la prima sezione della pista, che partiva dal Bear Mountain State Park verso ovest attraverso il Parco statale di Harriman fino ad Arden nello Stato di New York. MacKaye organizzò in seguito una conferenza di due giorni nel marzo 1925 a Washington che portò alla formazione dell'Appalachian Trail Conference (ora chiamata Appalachian Trail Conservancy, ATC), benché pochi progressi fossero stati fatti sul sentiero per vari anni.

Alla fine degli anni 1920 e all'inizio degli anni 1930, un giudice in pensione di nome Arthur Perkins e il suo giovane associato Myron Avery si lanciarono nell'avventura. Nel 1929, Perkins, che era anche un membro della Connecticut Forest and Park Association e del suo comitato dedicato ai sentieri locali, trovò un volontario disposto a continuare il progetto. Ned Anderson, un agricoltore di Sherman nel Connecticut, fu ingaggiato (in quanto membro delle due organizzazioni) con il compito di cartografare e di segnare la tratta del sentiero verso il Connecticut (1929-1933). Questa tratta collegava la frazione di Webatuck (Dover nello Stato di New York) a Kent nel Connecticut presso Ashley Falls, situata a 80 chilometri attraverso l'angolo nord-ovest dello Stato, poi a Bear Mountain alla frontiera del Massachusetts[1][Nota 1].

Gli sforzi di Anderson aiutarono a riaccendere l'interesse per il sentiero ed Avery (che aveva ripreso l'incarico dopo la morte di Perkins nel 1932) fu in grado di interessare altri stati all'iniziativa. Dopo aver ripreso l'ATC, Avery adottò l'obiettivo più pratico di costruire un semplice sentiero escursionistico. Mentre Avery voleva semplicemente ridisegnare il sentiero, MacKaye pensava che l'ATC dovesse realizzare uno sviluppo commerciale maggiore lungo il percorso del sentiero e, in disaccordo, lasciò l'organizzazione. Avery diresse l'ATC dal 1932 fino al 1952 (morì lo stesso anno) e si rivelò un ardente difensore del sentiero.

 Sugarloaf Mountain vista dal Sentiero degli Appalachi.

Avery fu il primo a percorrere il sentiero da un'estremità all'altra nel 1936, ma non in maniera continua. Nell'agosto 1937, il sentiero fu riallungato fino alla Sugarloaf Mountain nel Maine, e l'ATC riorientò i suoi sforzi verso la protezione delle terre intorno al sentiero e la cartografia degli itinerari per gli escursionisti. Dal 1938 alla fine della Seconda guerra mondiale, la pista subì una serie di degradazioni naturali e artificiali, ma furono riparate rapidamente.

Nel 1948, Earl Shaffer di York in Pennsylvania, portò una grande attenzione al progetto svelando il primo resoconto documentato di una escursione[3] realizzata in una sola stagione, vale a dire una tratta completa, ciò che sarà chiamato thru-hiking. Più tardi, Shaffer terminò ugualmente la prima escursione nord-sud, che fece di lui il primo a farla in tutte le direzioni[4]. Nel 1998, Shaffer, vicino a 80 anni, percorse ancora una volta la totalità del sentiero, diventando la persona più anziana ad aver mai completato un thru-hike[5][6].

Nel 1994, nell'Appalachian Trailway News apparve una storia che descriveva un'escursione in thru-hike di 121 giorni dal Maine alla Georgia nel 1936 da parte di sei boy scout del Bronx[7]. Benché la storia sia stata accettata da certi membri dell'ALDHA[8], sono stati anche espressi moltissimi dubbi[9] e questa escursione in thru-hike — che sarebbe una delle più antiche — non è mai stata confermata. Di conseguenza, l'escursione in thru-hike del 1948 da parte di Shaffer è ancora generalmente riconosciuta come la prima.

Negli anni 1960, l'ATC fece dei progressi nella protezione della pista grazie agli sforzi di uomini politici e funzionari. Con una legge del 1968, il Congresso designò il Pacific Crest Trail e l'Appalachian Trail come i primi sentieri panoramici nazionali (national scenic trails) e, istituendo il National Trails System, aprì anche la strada a una serie di sentieri dello stesso tipo in seno alle reti già esistenti dei parchi e delle foreste nazionali degli Stati Uniti[10]. Dei volontari che lavoravano con il National Park Service stabilirono un tragitto permanente per il sentiero, che fu tracciato nel 1971[Nota 2]. Alla fine del XX secolo, il National Park Service completò l'acquisizione di quasi tutti i terreni attraversati dal sentiero, ad eccezione di alcuni chilometri.

Errore nelle note: Sono presenti dei marcatori <ref> per un gruppo chiamato "Nota" ma non è stato trovato alcun marcatore <references group="Nota"/> corrispondente