Yo estoy en una situación parecida. La cuñada de mi chico, con la que no me llevo muy bien, tuvo un hijo. Pues ahora ya menos pero al principio era casi continuo chantaje emocional de los padres de mi chico a él y a mi para que pasáramos tiempo con él niño. A mí no me nace porque con los padres apenas tengo trato y no tenemos nada en común y los niños pues ni fu ni fa, así que pues el niño tiene ya 5 o 6 años y lo habré visto tres veces. No pasa nada. Ni yo he echado en fta esa relación ni el niño tampoco.
Yo personalmente no entiendo la obligación de por narices tener que tener relación con la familia (política o no, pero especialme política). Si no te sale, pues no te sale. No pasa nada.