A lo mejor no te has sabido expresar, te entendería si te sintieras incómoda con la familia y amigos de su ex pero no acabo de entender por qué no quieres ir.
Si vas a hablar con él, te aconsejo que te expliques mejor para que no se haga una idea equivocada.