La verdad mala solución veo. Me parece que desde el momento que vio que tu hijo pasaba a formar parte de tu vida ya se sintió que no era el centro del universo.
Le dejaría las cosas claras y le preguntaría qué es lo que quiere para que la convivencia sea amena. Si no es lo mismo lo que buscáis no lo alargaría más. Tu hijo esta en una edad muy clave para sentirse querido o rechazado, así que debería ser tu prioridad.