O porteiro de uma associação pode impedir a entrada de não moradores?

Tem algum lugar que especifique se a portaria pode impedir a entrada de pessoas dentro do loteamento?? Pois moro em uma associação e esse assunto gerou uma certa discussão, alguns dizendo que podem ser barrados e outros que pode ser feito somente o controle de quem está entrando. Obrigado