Hola, siendo breve te diré que tanto si tiene Asperger, como si no lo tiene, debes buscar lo mejor para ti.
Tú misma dices que no vas a dejar a una persona por eso porque no va contigo y está bien, entonces deja a un lado su posible síndrome, que, por otro lado no está diagnosticado oficialmente y piensa si esas actitudes y esos actos sí van contigo.
Si es así, adelante, pero usar como escudo una enfermedad no es justo, tanto si lo utilizas tú para justificarlo, como si lo hace él.