En primer lugar, hablar con él lo de los “tocamientos indeseados”, creo que es mucho más importante eso que cualquier lío de sentimientos que puedas tener ahora.
En segundo lugar, estás en una relación larga y es normal que a veces te entren dudas o quizá una etapa en la que estás más despegada. Creo que lo mejor es que compartas con él como te sientes y quizá veros menos hasta que te aclares y veas si es una etapa más de la relación o realmente ya no quieres estar con esa persona. Y por supuesto no eres culpable de nada, los sentimientos vienen como vienen, no has elegido estar así.