En las piedras de la fortaleza continúan varias de las muchas marcas dejadas por la historia. Desde la letra griega tau, que los condes de Lemos adoptaron como símbolo y talismán, hasta conchas de peregrino que apuntan a una vinculación con el Camino de Santiago. También aparecen estrellas de cinco puntas que parecen dar fe de la población judía del lugar. Además, el escudo de los Osorio se une a las armas de los Enríquez y los Castro como testimonio de los linajes que dominaron desde esta atalaya las tierras de Caldelas.
Visitar el castillo de Castro Caldelas no deja de ser un viaje de vuelta a la Edad Media. Con obras posteriores y todo, la fortaleza sigue provocando esa genuina impresión medieval gracias a su patio de armas, su pozo para resistir los asedios, su doble muralla almenada, sus saeteras y sus torres. También gracias a las leyendas que se cuentan acerca de sus piedras. Según una de ellas, un pasadizo que unía este castillo con el de Quiroga era lugar de encuentro de dos enamorados, cuyos padres, señores de uno y otro lugar, estaban enemistados. Enterado de la relación, uno de ellos decidió taponar el túnel por ambos lados, y los amantes quedaron atrapados para siempre…