Ten en cuenta que los niños suelen tender a contar sólo la parte de las cosas que les llama la atención, además de que tienen un percepción del tiempo que puede variar de la de los adultos. Si te dijo que estuvo toda la tarde viendo pelis mientras su padre estaba en el ordenador, puede ser que para él, toda la tarde fuera un par de horas y que después estuvieran jugando a algo, o simplemente viendo la tele juntos, pero al niño es algo que no le resultó «llamativo» y lo obvia a la hora de contarlo.
Si no han salido, no tiene nada de malo
Por lo que cuentas, ha sido algo puntual, no te tires aún a la yugular. Me preocuparía si viese que es lo habitual de todos los fines de semana cuando está con él, o si se lo deja a los abuelos/ tíos para irse él por ahí… Entonces sí intentaría hablar con el con asertividad, explicándole cómo se siente el niño, no como te sientes tú.
Por tu bien y el del niño, te recomiendo que te metas lo menos posible en lo que hace o deja de hacer con su padre, salvo que sea un caso de abandono muy evidente.