Yo creo que lo que te duele no es su pasado, si no la traición de su mentira.
Si inicialmente te hubiera dicho que probó a tener rollos casuales pero que se dio cuenta de que no era lo suyo, seguramente ahora no estarías desconfiando de que sea un comeorejas y en el fondo busque camelarte para algo rápido.
Ya no te fías de él y tienes claro que no quieres una relación por el momento. Así que quizás deberías echar el freno y mantener las distancias. Yo solo lo hablaría con él si viniera a pedirme explicaciones.