O prédio pode obrigar o zelador a morar no local?

Sou zelador de um edifício residencial há três anos. Antes disso, trabalhava na portaria noturna, e a aceitei o cargo depois de muita insistência da gestão na época. Claro que eu aceitei porque quis, não houve coação ou coisas do tipo, mas oque mais pesou em minha decisão foi o fato de que o prédio até então não queria que o zelador morasse no edifício. Caso contrário eu não teria aceitado. Agora parecem ter mudado de ideia, tanto que já chegaram a me dizer que serei "obrigado" a vir morar no apto funcional caso o prédio assim decida. O apto em questão é pequeno e não comporta a minha família, que é grande. Gostaria de saber se o edifício pode realmente me obrigar a vir residir no local, e se for o caso, a quem devo recorrer juridicamente falando. Desde já agradeço.