Moradores barulhentos ameaçando processar

Mora a 2 anos em 1 condomínio, o moradores de cima proprietário era bem barulhento, 2 vezes pedi para ele baixar o volume e diminuir p barulho, arrastar móveis bater os pés com força, e tudo mais. Logo ele alugou o ap, e tempos depois morador saiu da casa, sendo q eu nunca falei nada. Alugou de novo, o novo tinha abtos noturnos, eu com duas filhas pequenas, interfones pedindo silencio pois passavam das 22:00 horas sempre muito educado eu fui. Chegou ao ponto do barulho de relação do casal incomodar minhas filhas. Eles logo saíram tbm. Veio mais 1 casal, com mesmos hábitos noturnos, uma única vez pedi para a portaria interditar e pedir silêncio, sendo q.era 7 da manha de um domingo, arrastaram móveis, batiam portas, batiam os pés. Logo resolveram se mudar. Sempre falei para o proprietário sobre a situação, mas nunca reclamei formalmente. Agora fui ameaçado de ser processado pois alega que ninguém para ali por minha culpa.