Mit dem Niedergang der Jin-Dynastie etablierte sich im nördlichen Teil Chinas, zu dem auch die Umgebung Datongs zählt, die Dynastie der Nördlichen Wei. Sie machte Datong, damals noch unter dem Namen Pingcheng zu ihrer Hauptstadt. Obgleich der Buddhismus für die neue Dynastie zunächst eine Fremdreligion war, förderte sie ihn erheblich, insbesondere, da in der damaligen buddhistischen Schule ein dem Buddhismus wohlgesinnter Herrscher mit dem lebenden Buddha gleichgesetzt wurde. Zum Zeitpunkt des Baubeginns im Jahr 460 war der Buddhismus auf dem Gebiet der Wei-Dynastie bereits weitgehend als Staatsreligion gefestigt. Die Arbeiten an den Yungang-Grotten erstreckten sich insgesamt über eine Zeitspanne von 65 Jahren von 460–525 n. Chr., wobei es aber immer wieder zu Unterbrechungen kam. Der Bau kann in drei Phasen eingeteilt werden (siehe auch die Beschreibung der Grotten weiter unten). Als erstes die frühe Phase von 460–465, die unter dem Mönch Tan Yao ausgeführt wurde und sich durch fünf monumentale Höhlen auszeichnet. Sechs Jahre nach Ende der frühen beginnt die mittlere Phase, die sich von 471–494 erstreckt. Diese Phase ist durch die Förderung durch das Herrscherhaus geprägt und stellt mit den zahlreichen Zwillings- und der Drillingshöhle den Kernbereich der Gesamtanlage. Als letzter Hauptabschnitt gilt die späte Phase von 494–525, die durch privates Mäzenatentum gewährleistet wurde und daher vorwiegend kleine Höhlen und Nischen hervorgebracht hat. Der Übergang von der zweiten zur dritten Phase des Baus wurde dadurch ausgelöst, dass im Jahr 494 die Hauptstadt der Wei-Dynastie nach Luoyang verlegt wurde und mithin das Interesse des Herrscherhauses am Fortgang der Arbeiten endete. Nachdem Datong im Jahr 523 von Aufständen erschüttert wurde, entvölkerte sich die Stadt vorübergehend, so dass schließlich im Jahr 525 die Arbeiten endgültig zum Stillstand kamen.

Seit Beendigung der Arbeiten sind die Grotten und Statuen stark der Verwitterung ausgesetzt, da sie aus Sandstein gearbeitet sind. Daher gab es in den folgenden Jahrhunderten immer wieder Anstrengungen, den Zustand der Grotten zu erhalten oder wiederherzustellen. Schon während der Liao-Dynastie, in den Jahren 1049–1060, wurden viele bereits beschädigte Statuen wiederhergestellt und vor den Grotten die so genannten „10 Tempel von Yungang“ errichtet, die aber bereits wenig später, im Jahr 1122 durch ein Feuer wieder zerstört wurden. 1621, während der Qing-Dynastie wurden die noch heute erhaltenen hölzernen Schutzgebäude vor zwei der monumentalen Höhlen errichtet, um eine weitere Zerstörung der Höhlen durch Witterungseinflüsse zu verhindern. Während der gesamten folgenden Zeit wurden immer wieder Restaurierungsarbeiten an Statuen und Höhlen vorgenommen und die Statuen zum Teil erneut bemalt. Seit 1950 wurden von der chinesischen Regierung Anstrengungen unternommen, durch Sicherungsmaßnahmen den Zustand der Grotten und Statuen zu erhalten. Man versuchte sowohl die natürliche Erosion durch eindringendes Wasser dadurch zu begrenzen, dass entstandene Risse verpresst und abgedichtet wurden als auch die durch Sandstürme verursachten Schäden durch Baumpflanzungen zu begrenzen. Zudem wurde versucht, die Belastung der Grotten durch die Verschmutzung aus den umliegenden Kohlebergwerken zu verringern.

Die Grotten stehen seit 1961 auf der Liste der Denkmäler der Volksrepublik China in Shanxi (1-34). Sie wurden Ende der 1990er Jahre für das UNESCO-Weltkulturerbe vorgeschlagen und im Jahr 2001 aufgenommen.