Es un antiguo eremitorio, que ya se cita dentro de las propiedades del Monasterio de Santa María de Mave conocido también como Priorato de Mave al hacer cesión del mismo con todas sus posesiones Doña Urraca al prior del Monasterio de San Salvador de Oña, denominando a esta ermita "Cueva de San Pelayo" el 5 de julio de 1121, lo cual nos indica que ya en el siglo XII, este lugar había sido abandonado al culto.

Este templo hay que ubicarlo dentro del movimimiento eremítico que desde los siglos VII en adelante tienen lugar en la zona Norte palentino-burgalesa y el enclave cántabro de Valderredible.

En torno al año 1945 se tapió su entrada para evitar que fuera utilizada por mendigos, hasta que en la década de los 80 del siglo XX, se derrumbó el tapiado de la entrada y en su lugar se colocó una verja de hierro.

En su entorno inmediato no se localiza ninguna necrópolis, pero sí en un monte poblado de pinos y robles, situado justo frente a la entrada de la ermita trazando una línea imaginaria, a unos 800 m de distancia, cruzando perpendicularmente la carretera que va desde Santa María de Mave a Pozancos (Palencia), donde se localizan varias tumbas antropomorfas excavadas en un promontorio de roca arenisca, tal vez relacionadas con este eremitorio.

Cercana a San Pelayo, se encuentra también la ermita denominada Las Covaritas en el término del vecino pueblo de La Rebolleda (enclave de la provincia de Burgos dentro de la provincia de Palencia), pero en torno al año 1945 fue dinamitada para evitar que fuera habitada por nómadas o trashumantes de la época. Ver Blog: http://villacibio.blogspot.com/