До колонізації Америки мовою племен сіу, що мешкали в цій місцевості, ця гора називалася «Шість дідів» (лакота -Tȟuŋkášila Šákpe), або «Цукрова гора» (лакота - Igmútȟaŋka Pahá), але була перейменована в 1930 на честь Чарльза Рашмора (англ. Charles E. Rushmore), американського бізнесмена — організатора експедиції, що вперше відвідала цей район у 1885. Він же виділив на будівництво скульптур президентів 5 000$ — найбільше для США одноособо́ве пожертвування на той час.

У пам'ятнику увічнені особи президентів США, які внесли найбільший внесок у розвиток США. Джордж Вашингтон привів націю до демократії, Томас Джефферсон створив Декларацію Незалежності, Авраам Лінкольн поклав кінець рабству в США, а Теодор Рузвельт сприяв будівництву Панамського каналу, а також охороні держави та бізнесу.

Роботи із створення фігур велися з 1927-го до 1941-го року під керівництвом скульптора Гатзона Борглума (англ. Gutzon Borglum) (1867-1941). Над скульптурною композицією працювало понад 400 робітників і інших скульпторів, серед яких був також пізніший творець пам'ятника Шаленого Коня (англ. Crazy Horse Memorial), – Корчак Зюлковскі. Гатзон Борглум помер за 7 місяців до завершення будівництва; роботу закінчив його син, Лінкольн. Висікання каменю відбувалося серіями мікровибухів, роботу довершували відбійними молотками, кувалдами та зубилами. З майданчика було вивезено понад 360 тисяч тонн порід.

Близько 15 км на південний захід від гори Рашмор знаходиться пам'ятник Шаленого Коня.

Гора Рашмор є національним пам'ятником США. Щорічно меморіал відвідує близько 2 млн. туристів.