Morador de vila pode proibir que crianças brinquem na frente se suas casa?

Onde moro é uma vila com 5 casas. E ando tendo problemas quando recebo crianças de amigos ou parentes. Os vizinhos dizem que não tem problema meus filhos brincarem mas quando chega visitas crianças não podem brincar na frente da casa deles. Eles mandam as crianças ficarem só na minha varanda, que a não pode ficar na frente da casa deles.