Troca de Segmento de Sala Comercial

Boa Tarde Amigos; Sou inquilino de 1 sala comercial em uma Galeria, minha loja é de venda no varejo de Doces e Guloseimas, está ficando difícil manter as despesa da loja, então decidir troca de segmento para Loja de Roupa Infatil, só que quando procurei a Imobiliária para comunicar a troca obtive a resposta que não poderia trocar pois no meu contrato está escrito que o meu segmento é de doces e não de confecção. Gostaria de saber se realmente não posso trocar de segmento, uma vez que vou continuar no mesma destinação uso comercial? Agradeço a ajuda.