Împăratul Xiaowen (471-499 d.Hr) din dinastia Wei de Nord, a decis să mute capitala de la Datong la Luoyang. În anul 493, împăratul decide excavarea și sculptarea grotelor după modelul celor din fosta capitală. Acest proces a avut loc între anii 493-1127, și a avut loc în patru etape.

Prima etapă a avut loc între anii 493-534, în timpul dinastiei Wei de Nord. Atunci au fost săpate primele peșteri, cea mai veche fiind Guyang, iar în anul 478 au fost realizate primele sculpturi. Peștera Guyang, a fost primul templu realizat unde veneau de obicei împăratul și apropiații săi pentru a se ruga.

A doua etapă a avut loc între anii 534-626, în timpul dinastiilor Sui (581-618) și începutul dinastiei Tang (618-907). În acest timp au fost săpate alte grote precum Yaofang.

A treia etapă a avut loc între anii 626-755, în timpul dinastiei Tang, când budismul s-a dezvoltat foarte mult și a devenit religie de stat. Atunci au fost săpate noi grote precum Jinan și Ganjing, dar cea mai importantă realizare este construcția templului Fengxian. Templul a fost construit între anii 672-676, din ordinul împărătesei Wu Zetian, și este celebru pentru cele 9 statui uriașe ale sale, cele mai mari din tot complexul. Cea mai mare statuie îl reprezintă pe Buddha Vairocana și are o înălțime de 17 metri.

A patra etapă și ultima a avut loc între anii 755-1127, spre sfârșitul dinastiei Tang și începutul dinastiei Song (960-1279). În această perioadă construcția de grote a luat sfârșit din cauza persecuțiilor religioase, a luptelor cu dinastiile rivale și cu invadatorii mongoli.

Între anii 1368-1912, în timpul domniilor dinastiilor Ming (1368-1644) și Qing (1644-1912), Grotele Longmen au fost recunoscute ca monumente naționale și au fost reconsolidate.

În timpul celui de-al doilea război chino-japonez (1937-1945), japonezii au jefuit site-ul și au luat multe relicve în Japonia. În prezent multe dintre aceste relicve se află în muzeele japoneze.

În anul 1949, Partidul Comunist Chinez a declarat Grotele Longmen ca arie protejată și conservată. În anul 2000 au intrat și în patrimoniul mondial UNESCO. În prezent Grotele Longmen sunt conservate, protejate și restaurate fiind o faimoasă locație turistică, dar și un loc de pelerinaj pentru credincioșii budiști.