posso fumar no imóvel que aluguei se no contrato estava descrito proibido fumar?

fumei no imóvel que aluguei, porém estava descrito no contrato e o proprietário me informou que não aceitavam fumantes, ele pode pedir o imóvel antes do fim do contrato e me cobrar multa? pois estou na "minha residência, pago o aluguel sempre em dia, e cumpro todas as outras normas, ele pode fazer algo caso descubra que fumei dentro da residência?