Yo estoy en una situación parecida, pero no tan extrema, mi pareja tiene dos hijos que afortunadamente viven con su madre, de 10 y 14 años, yo me llevo bien con ellos pero son malcriados a más no poder, los primeros años el mayor me las hizo pasar canutas, de un tiempo a esta parte hablo mucho y muy seriamente con el padre porque llegó un punto que no los aguantaba más, no me gusta en la persona que se convierte cuándo están ellos, débil y permisivo, poco a poco se lo hice ver y está ejerciendo más de padre, antes era un pelele.
Es una situación muy difícil, te comprendo

Te esta dando la carita buena para que te vayas a vivir con él y le soluciones la papeleta. Eres su liberación y él va a ser tu cárcel. ¿De verdad por 3 mimitos te merece la pena pasar por todo esto?

Es tan fácil como.preguntarte quieres meter a tus hijos a vivir en esa casa???y hay tendrás la respuesta

Yo saldría corriendo de ahí. No tenéis nada que ver en la crianza y tú no estás a gusto ni él está conforme.
Por lo que cuentas vuestra comunicación también deja mucho que desear, así que no parece que podáis llegar a un término aceptable para los dos

Entiendo que lo quieras, pero también entiende que vivir con el será un horror para ti que pasaras a ser su criada y niñera y para tus hijos que soportar malcriados es muy duro, hazte un favor y aunque sigas con la relación mantén tu espacio y tu casa, no dejes que te chantajee, ni que tengas que cuidar a su hijo porque así demuestras nada, dile que se demuestre a si mismo el amor por su hijo y lo cuide él.
Por cierto, los niños son un fiel reflejo a lo que es tu pareja en su día a día, por muy mono que sea contigo a solas.