On raconte que cette grotte a été construite par Gim Daesong et que son nom originel fut Seokbulsa (석불사, littéralement « Temple du Bouddha en pierre »). Sa construction commence soit en 742 quand Gim Daesong renonce à sa position dans la cour du roi, soit en 751, le Xe anniversaire du début du règne du roi Gyeongdeok de Silla. C'est l'apogée culturelle de la Silla unifiée. La grotte est terminée par la cour de Silla en 774, peu après la mort de Gim. Une légende dit que celui-ci fut réincarné pour ses actes filiaux dans sa vie précédente. Le temple Bulguksa fut édifié en l'honneur des parents de Gim dans sa vie présente, et la grotte de Seokguram à ses parents depuis une vie précédente.

Elle est aujourd'hui l'une des destinations culturelles les plus populaires de la Corée du Sud, particulièrement pour voir l'aube sur la mer.