In de middeleeuwen stond er een torenkasteel op een heuvel in Berlinghausen, waarvan de overblijfselen vandaag de dag nog steeds te zien zijn. Volgens de legende was het eigendom van een roofridder die in de omgeving een ravage aanrichtte. Omdat de schutters van Attendorn hem hadden verslagen, zo gaat de legende, gaf de aartsbisschop van Keulen hen uit dankbaarheid jachtrechten.