O zelador que reside no condomínio, pode dormi fora na sua folga ?

Sou zelador , casado ,mas moro no condomínio sozinho , sem minha esposa e filhos, me impuseram essa condição , já q eles alegam q o apartamento funcional na suporta essa quantidade de pessoas, ou era morar sozinho ou procurar outro trabalho. Então passo minhas folgas com minha família, mas a noite eles querem que eu volte para prédio . Eles podem exigir isso ?