Sou obrigado a trabalhar na minha folga?

Olá, sou porteiro noturno (12x36) e gostaria de saber se sou obrigado a trabalhar (extra) no dia da minha folga, por ser a noite, acho muito cansativo pois já tive que trabalhar por 8 dias seguidos (4 dias de extra), mas só aceito ir por medo de perder o emprego, porém, hoje recusei, o supervisor insistiu muito e chegou até a mudar um pouco o tom da voz, mas eu neguei ir mesmo assim porque eu já tinha marcado algo pra esse dia de folga e mesmo explicando, ele parecia não se importar, então tenho essa dúvida.