Condomínio pode limitar a entrada de proprietário que possui lote, mas ainda não é morador?

Tenho um terreno num condomínio de luxo em Porto Velho, mas ainda não construí. Mas sempre uso a parte comum, já que pago condomínio igual todos. Ocorre que no regimento consta que quem não é morador só pode entrar no condomínio das 07:00 às 22:00h. A academia do condomínio funciona ate 00:00h, ou seja, se eu chegar depois das 22h não posso utilizar. Isso não seria uma ilegalidade quanto ao direito de ir e vir ?