Sinceramente yo no me metería. Mira, el niño no se te va a morir porque se quede en casa todo un fin de semana de vez en cuando. No es lo ideal, pero no se morirá por eso.
Y mientras el niño quiera ir a ver a su padre déjale, que no le hace daño. En unos años, si todo sigue así, será el propio niño el que te pida no ir con su padre. Y tu no te buscas broncas innecesarias.