Estás tardando en pedir tú el divorcio, si él no tiene relación con su familia es su decisión y es respetable, pero no tiene derecho a pretender imponerte que dejes a tú madre tirada, encima que ni vivirá con vosotros. No sé si tienes planes de hijos con esa persona, yo ni me lo plantearia.
