Supongo que estuve en el lugar de ese niño hace tiempo.
Verás, si él tiene ganas de seguir viendo a su padre (aunque sea en ese plan) tu déjale. El niño aprenderá a entretenerse sólo y en esas situación le dará por simplemente pensar qué pasa o preguntarse porqué de ciertas cosas y demás.
Los niños no son tontos, dentro de 4 años ya estará al tanto de todo y creo que con 12 años ya ni custodia compartida ni pepinillos en vinagre, si el niño quiere o no ir, se le respeta la decisión.