Como prosseguir se fui ameaçado verbalmente por um vizinho?

O vizinho reclama de barulhos vindos do meu apartamento, da primeira vez eu admiti que foi culpa minha, mesmo sendo extremamente mal educado chegamos a um acordo. Da segunda vez, houve a reclamação mas sem fundamentos, pois estava dormindo desde que cheguei no meu apartamento e ele reclamou de barulho. Da terçeira vez, o vigia veio para falar comigo, até que ele se meteu na conversa dizendo, exatamente ''da ultima vez eu quase vim aqui pra te dar uma surra'', eu tive uma atitude errada rindo da situação, até que ele retrucou ''tu tá tirando com a minha cara?'' nisso eu nem dei mais atenção e continuei falando com o vigia em questão. Não sei como prosseguir, pois isto está ficando ridículo, reclamações sem fundamento e agora essa ameaça, devo levar isso a justiça? Ps: Ambos somos maiores de idade.