Hola, siento muchísimo tu situación.
Como bien has dicho, seguramente cuando el niño crezca se dará cuenta de la situación y dejará de «endiosar» a su padre. Porque lógicamente llegará un punto en que no se le pueda camelar solo con juguetes, sino que necesitará también atención, consejo y otra serie de cuestiones personales que su padre no le ofrecerá. Así que tiempo al tiempo.
Por otra parte, si me admites el consejo profesional, dado que me dedico al ámbito legal, quisiera opinar que es posible solicitar un cambio de medidas con respecto al régimen de visitas. Normalmente las visitas son un derecho de todo padre y no se le pueden quitar así sin más, pero en un caso tan tóxico como este, el Juez podría tenerlo en cuenta. Insisto en que no es la norma general en todos los casos ni mucho menos; sólo argumento que podría ser tenido en cuenta por el Juez, dado que el padre no está ejerciendo una influencia positiva en el niño. Dejo a tu elección si plantearlo o no.
Te deseo suerte, un saludo.