Se dice que entre los monasterios habitados de España, este es el más antiguo. Debió de nacer en tiempos de los visigodos y lo tradicional es atribuir su fundación a san Martín de Dumio, pero fue abandonado en el siglo VIII al hacerse demasiado presente la amenaza musulmana. En cuanto el peligro se desplazó hacia el sur, el rey Fruela ofreció el lugar a un abad llamado Argerico y aquel primitivo edificio volvió a cobrar vida. Más adelante, el cruel Fruela fue asesinado y los monjes del monasterio dieron refugio y educación a su hijo, quien pasaría a la historia como Alfonso II el Casto y sería, según la tradición, el primero en peregrinar a la tumba del apóstol.
La abadía hacía de referencia espiritual de la región, y probablemente en el siglo X adoptó la regla benedictina. Creció su prestigio, aumentó su influencia y se multiplicó su poder con el dominio de vastas extensiones, pero el destino de las piedras medievales de Samos, según parece, era terminar devoradas por el fuego. Ocurrió en 1558.