Tu marido no tiene ninguna razón, te pasas todo el día con los niños y lo obvio será que necesites un rato para hacer tus cosas, sean lo que sean.
Lo que hacemos nosotros es adjudicar horas, es decir, oye, yo trabajo de X a Y y estoy fuera por narices, pues mira, cuando llegue a casa, te pones tú de Z a W a hacer lo que tengas que tengas que hacer. Nosotros ambos trabajamos dentro y fuera de casa, pero yo todo el mes de agosto estoy con la peque todo el día, ya que ni ella va al cole ni yo al trabajo, papá trabaja 2 semanas de agosto, pero igualmente nos repartimos horas, porque los dos necesitamos un rato para organizar cosas de nuestro trabajo.
Organiza unas horas a la semana en dias y horarios concretos con tu marido de «este tiempo es para que mama trabaje en el despacho y nadie la molesta», igual que a el no le molestan en su trabajo. Y punto pelota.