Uff…. Te diré que he tenido una situación un poco similar con familia y creo que sólo tú puedes decidir qué es lo que te hace menos daño. Yo tuve mucha ansiedad al reencontrarme con esta gente de mi familia después de 15 años pero no pude decir que no y luego me sorprendió la relación cordial que pude y puedo tener (como tú dices, solo cordialidad). Pero tampoco sé si, de haberme podido negar, estaría mejor o peor.
Yo te diría que medites y pienses bien qué te hará sufrir menos o qué te pide el cuerpo y lo que decidas, estará bien. Pero tienes que ser egoísta, porque él lo fue en su momento, así que piensa sólo en ti en esta situación.
Un abrazo y ánimo!