El concepte de cova budista va ser inventat a l'Índia, encara que aquest tipus de santuari ja estava present a la Xina abans de l'arribada del budisme. Tot i així, sabem que van ser adaptades per la nova religió i l'influència india gràcies a la ruta de la seda, procedent de l'arquitectura excavada d'espais com el conjunt de Bhaja o el conjunt rupestre de les coves d'Ajanta. Van tenir un paper molt important a la ruta de la seda com a espais de visita per als viatgers de les rutes entre la Xina i l'occident d'Àsia. El seu paper va anar més enllà atès que el pelegrinatge era una pràctica molt important al món budista i aquests temples excavats a les muntanyes van ser molt eficaços a la pràctica i difusió del budisme, ja que eren visitats per artistes, artesans i monjos.[1]

Les coves de Maijishan van ser gairebé desconegudes fins al seu descobriment arqueològic el 1952. Segons una inscripció tallada en roca datada el 1057, la construcció va començar al període Qin occidental (385–400; 409–431). Encara que no es tenen prou evidències per datar cap cova en aquest període, però sí sabem d'un gran nombre de coves conservades que daten del començament del període Wei del Nord (386-534).

Les vies de penya-segats que antigament donaven accés a aquestes coves es van esfondrar ben aviat de manera que, disperses a mesura que es troben sobre la pronunciada roca, les coves van romandre aïllades durant segles. Gran part de la decoració i les estàtues originals, la majoria patrocinades pels governants, encara es conserven avui dia.

Es considera que la dinastia Qin va assentar les bases de l'imperialisme xinès que perduraria 2.000 anys. Les coves de Maijishan van ser construïdes, segons els registres històrics, al final de la dinastia Qin (384-417 aC). Les biografies dels monjos de la dinastia Liang ens expliquen que dos monjos anomenats Thanhong i Xuangao utilitzaven aquest espai per a meditar amb més de 300 deixebles.