A mí me parece mucho más preocupante que no se ocupe de su hijo (esto no sé si lo podría soportar porque me parece que no puede hablar peor de alguien), ni de ti.
Siéntate y háblalo con él. Dile lo que sientas, lo que necesitas y lo esperas de él como padre y como pareja. Si nunca antes habíais tenido dificultades, y se ha portado bien contigo, siéntate un día contigo misma, escribe lo que le quieras decir, e intenta decírselo sin reproches, pero diciéndole claramente lo que ha ocurrido y lo que tu esperas. Yo si fuera tú no lo plantearía como ultimátum. Simplemente como algo muy importante de lo que hay que hablar. Ahora sí, yo me fijaría un plazo razonable, y si cuando llegue ese plazo no ha cambiado nada, NO LO DUDES, DÉJALO PORQUE TE MERECES ALGO MEJOR.