Quizá Francis Drake atacó el lugar a finales del siglo XVI, pero hay menos dudas de que lo hicieron los corsarios hugonotes de La Rochelle, quienes incendiaron y saquearon la costa, arrasando Gaztelugatxe y despeñando, según se dice, al ermitaño que allí habitaba. No sería ese el último infortunio del enclave, atacado por los soldados ingleses en el XVIII e incendiado y golpeado por la calamidad en tantas ocasiones que la ermita tuvo que ser reconstruida por completo a finales del XIX.
Quizá, también, la Inquisición actuó con especial severidad por estos lares, y en las cuevas del peñón fueron encerrados, como se cuenta, algunos de los acusados de brujería por el temible Santo Oficio.