No encajas, o no le gustas, como para tener una relación formal. Para algo sin compromiso y temporal sí, pero para algo serio y que se prolongue en el tiempo de forma indefinida no, sino ya te hubiese dicho que sí a todo sin dudar.
Y no es porque tu físico esté mal ni tu forma de ser, simplemente no le gustas a esa persona en concreto, igual que a ti no te gustarán otras. No podemos gustarle a todo el mundo a todos los niveles.