A mí me parece que los dos sois de tal palo, por que la misma manipulación es que se plante en tu ciudad sin avisar y te imponga su presencia, que ignorarle y decidir que no vas a verle a pesar del esfuerzo por solucionar que ha hecho yendo a verte.
Lo que tú haces se llama ley del hielo, le estás ignorando por qué estás enfadada, en lugar de dar pie a tener una conversación y solucionar las cosas o ponerlas en su sitio.
A mí el comentario me parece de persona celosa, pero también te digo que si tuviera un novio a 600km y estuviera trabajando con un ex-rollete pues tampoco le contaría que hemos sido rolletes, por que eso le va a crear inseguridad, de ahí vienen sus celos y su desconfianza. Que tienes derecho a tener pasado si, pero no es necesario que se lo cuentes todo, de ahora en adelante se un poco más selectiva con la información que compartes.
Dicho esto, deberías tener una conversación con el y ver en qué quedáis, si vais a seguir, los dos tenéis que poner de vuestra parte, y si no pues no le tengas en standby perdiendo el tiempo. Y creo que el viaje está vez lo tendrías que echar tú, o como mínimo quedar en un punto medio.