¡Hola!
Lo importante aquí es que estamos hablando de una persona con Asperger con lo cual hay factores que no son objetivos ni de educación y entran dentro de otro contexto.
Lo habrá dicho porque así lo piensa de verdad, no por herirte. De hecho se ha puesto a llorar después con tu reacción. Entiendo que te pueda doler o molestar pero es que estamos ante una persona que no ve la realidad igual que la vemos nosotros y que las emociones y la comunicación no son su fortaleza.
Si vuestra relación va bien yo no le daría importancia, seguro que lidias con situaciones más complejas en el día a día que esa, pero que esta te ha afectado más personalmente