Si tu trabajo te apasiona, yo no lo dejaría… Diferente es que fuera un trabajo que no te gusta, pero si te gusta creo que lo vas a echar de menos si lo dejas y te vas a sentir mal.
Busca otra solución: adaptar horarios, intentar si se puede hacer cosas desde casa…
De todas formas es una decisión muy personal y eres tú quien lo tiene que decidir.