Viví algo muy parecido hace años y tu relación está abocada al fracaso.
Al principio, aunque él haga diferencias entre ellos y tú y tu hija pensarás que al menos está contigo porque parece que entienda son ellos los que te han rechazado, pero cuando la relación empiece con altibajos verás qué pronto se pone de su parte y te acusa de no haberte adaptado, de haber rechazado a su hijo (sí, a pesar de que te haya dicho puta, etc), estás relaciones son así. Ah, y volverá a ser amigo o intentará volver con la ex.
No te aconsejo nada, solo te acabo de hacer spoiler de tu propia vida.