Habla con él, dile lo que hay, y yo le diría tal cual, que si no cambia su actitud, tú no vas a seguir en esa relación.
Entiendo que esté mal. Pero ES UN ADULTO, y sobre todo, ES PADRE. Para mí ser padre está por encima de todo. Si no sabe comportarse como tal, y asumir sus responsabilidades, ¿de verdad eres tú la egoísta? ¿De verdad quieres estar con alguien así?
Si quieres, habla y dale la oportunidad de que cambie. Pero deberías dejarle claro (y sobre todo, tenerlo tú claro), que si no lo hace, tú quieres y necesitas otra cosa para ti.