Pues yo te entiendo perfectamente, la altura de un hombre para mi también es muy importante y si son más bajos que yo ni me lo planteo, negarlo sería mentir. No me gusta un hombre pequeño. Cada uno tiene unos gustos, no por eso eres superficial.
En mi opinión puedes probar, vas quedando con él y a ver como te afecta la cosa. Si ves que no puedes superarlo, déjalo lo antes posible, porque tampoco es justo para él hacerle perder el tiempo.