Para mí, lo más preocupante es que conociendo tu pasado haya reaccionado defendiéndose (en vez de empatizando) cuando le has dicho cómo te sientes. Estoy muy segura de que mi novio se pondría blanco, se disculparía corriendo, no lo haría más y tendría mucho cuidado con su forma de proceder a partir de ese momento. Incluso aunque no fuera consciente de hacer algo mal, tú le has dicho claramente que te molesta y eso es lo único que debería importarle, no entrar en debates acerca de lo que tú quieres o no.
Déjale claro (aunque debería estarlo) que tus «no sé», «en otro momento», «no me apetece» son NO rotundos y firmes, que no estás jugando a nada, y que no vas a consentir que insista. Si no es capaz de comprenderlo, te hace sentir mal por ello o sigue victimizándose… chica, hay más peces en el mar. Eso es indicativo de muchas cosas malas para una relación, y tú tienes que protegerte a ti misma antes que a nadie.