Haciendo ejercicio de reflexión yo creo que los posibles motivos sean:
Les caes bien pero van a lo que van y no quieren «perder el tiempo» trabajándose a alguien tímido.
Es posible que les gustes pero no les atraigas.
Quizás les cree inseguridad que no tengas un propósito claro como es el de «pues a este le voy a dar Pal pelo» y prefieran seguir buscando lo que quieren.