Me pareces una insensible, la verdad.
El padre de tu marido será un mal padre, un interesado, una mala persona… pero es su padre. Y a tu marido le genera unos sentimientos, supongo que por haber estado en su vida a ratos… es difícil apartar de ti a quien te da una de cal y otra de arena… por otro lado, quizás tenga una herida de abandono, o una pena/necesidad por conocer a esa parte de la familia con la que apenas se ha relacionado… son parte de sus raices. Me parece increíble que no seas capaz de hacer un ejercicio de empatía y ponerte en su lugar.
Si tu no quieres ir no vayas. Pero tu marido está en su derecho de ir si siente que debe de ir, y por supuesto que puede llevarse a los niños, porque para eso es su padre y ellos también tienen derecho a conocer a esa parte de la familia.