Probablement fondée à la fin du XVe siècle et reconstruite en 1843, la chapelle dédiée à Notre Dame de la visitation aurait été édifiée, selon une légende, pour apaiser l'âme du jeune duc Arthur de Bretagne, assassiné par son oncle en 1203.

Une colombe (Koulm en Breton) symbolisant l'âme du malheureux Arthur réclamant des prières, aurait alors désigné le pré (Prat en Breton) pour étiger la Chapelle. Tenue pour guérisseuse, la Fontaine était autrefois fréquentée par les mères dont les enfants tardaient à marcher mais aussi consultée, comme un oracle, pour connaître l'issue d'une maladie. Si, immergée dans la source, la chemise de l'enfant malade s'enfonçais, la mort était proche, si au contraire elle surnageait la guérison était assurée. Dans l'enclos de la Chapelle, calvaire de 1865 orné d'une Vierge de Pitié ancienne.

Le pardon de Prat-Coulm est célébré le plus proche du 2 juillet.