Creo que en esta historia todo radica en que a el no le gusta tener a tu hija en vuestra casa 15 días, porque sabe que si no te hicieras cargo de ella, SU familia (que sois vuestro hijo y tu) iria mejor.
Me parece muy feo por su parte, porque supongo que conocia tu situación antes de empezar la relación, pero habra llegado a su limite y ha actuado así, que me parece fatal.
Tienes una relación muy complicada, te deseo suerte