Meu vizinho diz que estou fazendo barulho e ameaçou chamar a polícia

Eu moro em residência comum, não moro em apartamento ou condomínio, moro em casa mesmo em bairro comum, eu moro com meus pais e minha tia e de vez enquanto converso com minha tia entorno de 23 hrs e 00 hrs que é o horário que chego em casa do meu trabalho, conversa leve sem muito mais, meu vizinho bate na minha parede e diz que estamos fazendo muito barulho durante a noite e nos ameaçou de chamar a polícia por estarmos conversando alto e não e a primeira vez, eu estou realmente infligindo a lei? Pois nós apenas estamos conversando, não estamos fazendo festa, nem com aparelhos sonoros altos ligados nem nada do tipo? E ele não cansa de me ameaçar de chamar a polícia por eu conversar com minha tia, o que eu devo fazer?