O mosteiro de Caaveiro foi fundado em 934 para acolher os numerosos anacoretas que viviam dispersos nas Fragas do Eume. Pouco tempo depois o mosteiro engrandeceu o seu patrimônio com importantes doações de São Rosendo, recebendo a maior parte das terras cultiváveis existentes à direita do Rio Eume e sendo-lhe concedida a jurisdição sobre vilas e freguesias, eximindo-o da autoridade do arcebispado de Santiago de Compostela.

Obtém assim este cenóbio um grande poder, atingindo sua igreja a categoria de Real Colegiata (com seis cônegos) que conservará até finais do século XVIII.

Começou pertencendo à Ordem de São Bento, mas no século XII tornar-se-ia em Colegiata de cônegos regulares de Santo Agostinho. Entre o ano 1220 e o 1259 produz-se a máxima expansão do seu domínio, nela esteve a frente do mosteiro o prior D. Martiño Rodríguez, quem conseguiu a ampliação do couto até à ponte de Pontedeume, incluindo as paróquias de Cabanas e Eirís.

Durante a Alta Idade Media, com o auge da casa dos Andrade, perdeu muito poder econômico, que recuperou na época dos Reis Católicos.

Com a desamortização, todas as posses da comunidade foram vendidas pelo Estado a particulares, sendo as relíquias de São Rosendo transladadas para Santiago de Compostela, e alguns dos objetos religiosos, como as imagens ou os sinos da igreja, distribuídos entre as igrejas das Neves e Soaserra.

A partir de 1800 fica vazio, ao cuidado de um caseiro e inicia assim sua decadência e deterioro. No século XIX Pío García Espinosa, que comprara boa parte das terras que rodeiam o mosteiro, consegue uma autorização do Arcebispo de Santiago para restaurá-lo. Derriba, para acometer a restauração, a casa dianteira e a igreja prioral (1896), edifica um pavilhão ameado e reconstrói a capela de Santa Isabel. Mesmo volta ser ocupado por religiosos, no entanto esta vida monacal volte desaparecer com a morte de Dom Pío .