Bueno a ver, así lo veo yo:
Parece que eres una persona bastante empática y eso es estupendo, pero no deberías tener que dejar de ir a sitios. Si la relación con tu ex fuera mala la situación sería aún peor creo yo. Como os lleváis bien yo haría lo siguiente, escríbele y dile que que el día del cumpleaños no quieres hacer sentir mal a su pareja ni a la tuya así que lo que vas a hacer es cuando llegues no vas a saludarle ni nada, como si no estuvieran y le explicas el porqué. Creo que es lo mejor, pero puede que si lo haces sin avisarle antes no lo entienda o no lo pille.