Creo que deberías seguir conociéndolo, ya que le conoces de 4 veces y una experiencia sexual sin la confianza y el diálogo de una pareja que se conoce.
Has dicho que notas interés en él, y por lo que veo tu también lo tienes, porque has escrito un gran texto con detalles.
Es difícil aconsejar, debes ir tu misma valorando la relación día a día, y luego que cada persona puede pasar por días malos, y no podemos juzgarla por un sólo hecho puntual.
Sigue de momento la relación y no pongas demasiadas expectativas por si no fuera bien. Tómalo como una experiencia más y punto, si después sale algo bonito pues genial.