A tí te ha sentado mal y punto. Tu sentir es válido. Nadie te puede decir qué sentir o cómo sentirte respecto a algo o alguien.
Y dicho esto, supongo que su comentario, aunque desafortunado, no iba con ninguna intención. Simplemente te dijo que él no podría volver a tener una relación con esa ex, que ni estando soltero/solo se lo plantearía, que con esa ex como mucho tendría sexo ocasional y nada más.
Osea, que te vino a decir que ella no le importa y que puedes estar tranquila.
Mi consejo: como ya le has dicho que eso que dijo no te gustó, supongo que evitará volverlo a hacer. No le des más vueltas, y continúa con tu vida y con tu pareja. Disfruta de tu vida y no te la amargues sin razón.