La idea de dejar a tu hijo unas horas con los niños de su hermana me parece muy buena, no veo excusa para no ir.
Creo que realmente no quieres ir, que lo del niño es secundario.
En ese caso, haz como quieras, pero vuestra relación se resentirá si no vas sin motivo.