Creo que aquí el problema es el tipo de trabajo que tienes. Quizá deberías mirar qué opciones de conciliación existen y te ofrece tu empresa. Y no dejar de buscar otra cosa.
Y también creo que todo depende mucho de lo económico. ¿Te puedes permitir dejar de trabajar? ¿Algún trabajo de media jornada?
Yo no haría mucho caso al comentario de Gia y al tema de «luego prefieren al padre» porque eso depende muchas circunstancias. Me parece una forma innecesaria de preocuparte. Anda que no hay casos de madres abnegadas en casa que ven como sus hijos prefieren al padre aunque lo vean cinco minutos al día… no caigas en eso porque la maternidad/paternidad no es un concurso y nunca se sabe.