Quizás tienes tan idealizada esa posible relación que te da miedo que cuando pueda hacerse real no sea así y que por tanto pierdas el tener detrás de ti una persona que te endulza el oído.
Haz el «esfuerzo» de quedar con él un día a ver cómo fluyen las cosas y si ves que no va a ir a más díselo claramente para que el chico no esté ahí desviviendose por ti para nada, e intentad quedar simplemente como amigos y ya está.
Por pasar una tarde con él no pasa nada.