De inwoners van Amby zouden afstammelingen zijn van een troep Heidenen of Zigeuners, die, moe van hun zwervende levenswijze, zich daar, omstreeks de tweede helft van de zestiende eeuw, als landbouwers zouden hebben gevestigd.
Een dorpspriester preekt tot zijn boeren: 'In plaats van naar de kerk te komen duikt men met de boerinnen in het hooi en doet daar dingen die niet sluiten. En al sloten ze wel, dan deugen ze niet.'