Por la actitud que ha tenido él, creo que lo mejor es mantenerlo lejos, en su cabeza sigue atado como familia a su ex, en la que ella maneja lo que quiere y él agacha la cabeza sin respetar las normas de TU casa, entiendo que para él su hijo es lo primero pero una cosa son los hijos y otra son las parejas.
Tu hija merece estar tranquila en su propia casa sin estar viviendo o viendo ciertas diferencias y sobretodo tu te mereces que te respeten, el niño no es tu hijo pero si convive en tu casa , sí debe respetar las normas de tu casa y su padre de ería haberle parado los pies a su ex.
En otro caso te hubiera dicho que cuando él tenga a su hijo que se queden en su casa y hagan lo que quieran . Pero viendo la actitud de él , lo mejor que has podido hacer es dejarlo, ni te respeta ni te quiere.
Su hijo , su responsabilidad pero no a tu costa ni a la tranquilidad de tu tu hija y tuya, no vale la pena .
A la larga se iba a poner peor

Mira te felicito, porque tu no tienes culpa de nada.
Ahora te vas a sentir mejor.
Te recomiendo ver videos de María Torres moros y Amanda merbu. Así no recaes con ese tipo de personas.
No es bueno para ti ni para tu hija.