Creo que intentas refugiarte en la esperanza de que tenga asperger, cuando realmente estás con una persona que te hace infeliz. Digo esto porque de lo que has contado no se puede apreciar que tenga asperger pero lo que si se ve es que te hace daño.
Independientemente de los motivos que le hagan ser así, no pierdas el tiempo con alguien que no te hace feliz. Ese es mi consejo.