Filhos pequenos do meu atual marido podem usar a piscina do meu imóvel?

Olá, sou proprietária de um apartamento na Vila Mariana. Do meu antigo casamento tenho uma filha de 11 anos e meu marido atual é divorciado com regime de visitas estabelecida por lei. Seus dois filhos (meus enteados um com 4 e outro com 6 anos de idade). Durante a permanência deles no meu imóvel o síndico proibiu que as crianças frequentassem a piscina. Disse que somente eu, minha filha e meu marido poderíamos desfrutar da mesma. Causou um desconforto perante os outros moradores pedindo que as crianças se retirassem do recinto. Isso é correto?