Barulho sem incomodar ninguém

Moro em um duplex, meu quarto fica no terceiro andar, não tenho vizinho embaixo, nem nas laterais e o de cima me avisa pelo whatsapp quando estou fazendo muito barulho. Na madrugada (00:30) o fiscal do prédio, em sua ronda noturna, disse que eu estava fazendo muito barulho (conversando). Perguntei se alguém tinha reclamado, e ele disse que estava escutando as conversas lá embaixo.. porém não havia reclamação de nenhum condômino sobre o ruído feito por mim. No dia seguinte recebi uma advertência. Dúvida: O fiscal pode "achar" que eu estou fazendo barulho demais e me dar uma advertência, ou precisa haver uma reclamação de condôminos incomodados com o ruído? No meu ponto de vista, só porque ele está ouvindo o ruído da rua não significa que os vizinhos estejam sendo incomodados.