Hola… es dficil pero como maestra solo te diré… nunca aguantes por tus hijos… ya que ellos lo notaran y eso les hara daño a la larga (mi experiencia así me lo ha enseñado).
Mas vale distancia e ir viendo qué pasa con su participación con los niños.
Esa relación desde mi punto de vista es tóxica y no va a cambiar (al menos no tiene pinta de ello).
Busca ayuda (familiar y anclas a las que puedas apoyarte como amigos).
Llama a algun centro de ayuda de tu ciudad. Es imprescindible que recuperes autoestima y fuerza para dar los pasos necesarios.
Busca un abogado y comenta tu situación y cuando sientas que puedes (yo ya se sin conocerte que eres capaz) date tu lugar… animo!