Buenas.
En primer lugar no puede quitarte días de vacaciones si es festivo y en tu empresa normalmente no se trabaja ni festivos ni fines de semana, distinto sería si se tiene que hacer guardia o algo así (en ese caso deben pagarse o compensarse con otro día libre)
En segundo lugar hay una cosa que se llama derecho a la desconexión digital, es decir, no te puede llamar ni mandar mails fuera de tu jornada laboral, y si te manda un mail no puede pedirte que le respondas fuera de tu horario laboral, puede incluso considerar acoso laboral.
Mi consejo es que guardes todo por escrito, no hables nada por teléfono de este asunto, siempre por escrito. No le contestes al móvil personal fuera de horario y si es un teléfono de empresa directamente lo apagas. Habla con Recursos Humanos ya, le aportas todas las pruebas, mails, WhatsApp, horario de las llamadas… Y les dices que te está generando ansiedad. Si tienes la oportunidad de afiliarte a algún sindicao hazlo.
Espero haberte ayudado. Ánimo y sé fuerte, no dejes que te pisoteen, si no a usará cada vez más de su posición.