Como provar que não falei algo diante de acusação sem provas?

Um condômino discutiu comigo que sou síndica e agora agendou uma reunião com o Conselho para tomar medidas dizendo que o insultei. Só estávamos nós dois e ele falou que a esposa ouviu de outro lugar. Eu não o ofendi, como posso provar se ninguém ouviu e é mentira o que a esposa dele está afirmando.