Mira, yo he estado en una situación similar a la tuya y cuando me decían eso de «al menos tienes trabajo» se me llevaban los demonios.
Lo primero es hacer lo que te han dicho y apagar el móvil o silenciar las llamadas de tu jefe durante el fin de semana. Y si te vuelve a pasar lo de que te monte un pollo por no atender sus peticiones durante tu tiempo libre, recuerdale que existe una cosa que se llama derecho a la desconexión digital, y que no tiene ningún derecho a exigirte que trabajes fuera de tu horario laboral, al menos sin que exista un acuerdo y un plus de disponibilidad estipulado por contrato.
Yo de tí me iría apuntando a un sindicato y mientras tanto seguiría echando currículums, porque por lo que dices, pinta que te va a ser complicado negociar con él. Cúbrete las espaldas por lo que pueda pasar.