Consigue esa declaración de tu jefe por escrito (vale un mail) o graba esa conversación y llévalo a un abogado laboralista. Te lo tiene que confirmar el abogado, pero esa amenaza puede contar como despido y además improcedente, con lo que tendría que indemnizarte o incluso readmitirte si se considera despido nulo. No pierdas el tiempo, reúne pruebas y que se fastidie ese negrero.