Parece un cómodo, que tú tienes que tener disponibilidad plena para él y amoldarte a sus horarios.
Cuando eso no es recíproco, es normal que siente mal.
Y sí, yo también lo veo egoísta. A partir de ahora no le esperes los días que esté con el hijo y haz tus planes.