Hay en Galicia un buen número de monasterios que superan en mérito arquitectónico a este. Pero casi ninguno puede igualar la despampanante ubicación de San Xoán de Caaveiro, aislado en el fondo de un valle profundo y nebuloso al que, durante siglos, fue casi tan difícil llegar a pie como a caballo. Allí, en lo alto de un peñasco próximo al río y con una única entrada posible, dice la tradición que fundó San Rosendo el primitivo cenobio. Era la primera mitad del siglo X, y los ocupantes originales habrían sido anacoretas que, tras habitar en soledad por la zona, se reunieron entre estos muros para formar una comunidad.

Plagado de murciélagos y rodeado por una espesa y verdísima fronda, el lugar ha inspirado relatos sobre bandidos, raptos de doncellas y sucesos milagrosos. El más conocido es el que recuerda al austero Rosendo imponiéndose una penitencia por haberse quejado del mal tiempo en un momento de debilidad. El santo arrojó su anillo episcopal a las aguas del Eume y pidió a Dios que se lo devolviera cuando aquel pecado le hubiese sido perdonado. Pasaron siete años hasta que en las cocinas del monasterio se abrió la barriga de un gran pez cuyos intestinos contenían el anillo, y el obispo supo entonces que estaba en paz con las alturas.