Pues no entiendo muy bien que es lo que quieres q te digamos, pq creo q lo tienes bastante claro.
La única preocupación que tienes es el hecho de que no le gustes cuando te vea, pero eso nunca lo vas a saber si no os veis. Puede q le gustes o no. Puede que no te guste él a ti, tambien es una opción.
Haz lo que te apetezca, si realmente quieres quedar con él solo para sexo, házlo si te apetece.
Todo lo demás entra en la ética de cada un@.
Saludos,