Уезд Дацзу прославился как край резьбы по камню ещё в VII веке. Самые ранние рельефы датируются 650 годом и относятся к началу правления династии Тан. Однако массовое создание скульптур продолжалось с X по XII столетия.

Ещё в конце IX века Вэй Цзюньцзин (кит. упр. 韦君靖, пиньинь Wei Junjing), градоначальник Чанчжоу, первым заказал резчикам по камню вырезать рельефы на горе Бэйшань. Его примеру последовали и другие. Рельефы создавались по заказу как местных дворян, монахов и монахинь, так и простых людей на протяжении правления династии Тан, во время Пяти династий и в период Десяти царств (907—965). В XII веке, во время правления династии Сун, Чжао Чжифэн — монах, придерживавшийся тантрического буддизма, начал работу над сложными скульптурами и рельефами на горе Баодиншань, посвятив 70 лет своей жизни их созданию.

На протяжении многих веков памятник был скрыт от посетителей. Рельефы случайно обнаружили китайские туристы в 1961 году. Иностранные туристы впервые смогли увидеть памятник только в 1980 году. До 1975 года между городом Дацзу и рельефами не было хорошей дороги. Изоляция помогла сохранить памятник невредимым от массового антирелигиозного вандализма во время культурной революции в Китае.