É possível rescindir contrato de aluguel por causa de vizinhança?

Prezados, a situação é a seguinte: aluguei um imóvel e com pouco mais de 3 meses um casal com um filho e a mãe do homem alugaram a residência que ficava ao nosso lado, os mesmo faziam barulho com som todos os dias mesmo sabendo que nós temos uma bebê recém nascida, colocavam som em uma altura que as janelas de vidro tremiam, entrei em contato com a dona e a mesma foi lá falou com o homem da casa e ele baixou até ela ir embora, após ela ir embora ele voltou a ligar o som, liguei para ela e ela informou que poderíamos chamar a policia, assim fizemos e ele baixou o som mas poucos dias depois voltou a aumentar o som, chamei a policia mais uma vez como ela recomendou e após isso ele começou a nos ameaçar de que iria chamar facções amigos dele para “dar um jeito” em nós, informei a dona que não tinha condições de ficar naquela casa por contato do barulho e ela foi de inquilino em inquilino saber se só incomodava a nós e como a vizinhança são amigos desse homem eles disseram que não incomodava, apesar de que o inquilino ao lado dele vivia pedindo para baixar mas para dona disse que não incomodava, fui embora para prezar o bem estar da minha filha e da minha esposa que já estava e não conseguia gerar leite por conta do estresse que passava com o barulho e a nossa filha sem dormir, havia dias que ele ficava até as 3 da manhã, o que eu posso fazer para sair sem pagar multa?