Pues como dice otra compañera, yo creo que vas a salir escaldada. No es ni medio normal la actitud del padre, y creo que ni deberías ni justificarlo ni normalizarlo con tus hijos.
De hablar, sería con el padre se las criaturas, pero no decirle lo que han hablado de él sino darle el toque de «no crees que cada vez haces menos con tus hijos?» Darle la oportunidad de redimirse pero que sea él mismo el que decida hacerlo.
Entiendo que quieres lo mejor para tus hijos, pero quizá lo mejor para ellos sea aceptar la realidad y, como has dicho en tu post, hacerles entender que no es culpa suya.