Lo primero de todo, vete a la policía con todas las pruebas que tengas y denuncia, el acoso es un delito.
A tu jefa dile, sin dar más detalles, que el número no es de una clienta real sino de una expareja con la que cortaste el contacto y que te acosa, y que por lo tanto no vas a llamar, que disculpe las molestias y que bastante problema es para ti. Lo más normal es que te crea. Ánimo.