O proprietário do imóvel pode entrar e sair da casa a hora que quiser?

Aluguei uma casa ha mais de um ano, o contrato venceu em maio. Tem uma casa pequena no mesmo quintal, quando loquei o proprietário me disse que a moradora ia sair da casa logo e depois ele não iria mais alugar, aluguei só por conta disso. Jamais alugaria um imóvel que não fosse independente. Depois que a moradora da casa deixou o imóvel, ele quis aumentar meu aluguel, eu nao aceitei por que ja é um tanto caro. Ele concordou em manter o valor ja que pago o Aluguel 20 dias adiantados todos os meses. Mas desde entao o proprietário tem agido de maneira duvidosa. Fico sozinha com meus filhos pequenos em casa, nem sempre estou vestida pra receber alguém. De algum tempo pra ca, ele entra e sai da casa a hora que quer, tem a chave do portão, entra e sai quando bem entende. Gostaria de saber se porque tem outra casa no terreno a lei o ampara agor assim, entrar e sair sem se quer tocar a campainha, a hora que ele quer, posso recorrer a justiça?