Yo creo que no has hecho nada malo al reaccionar como lo hiciste, fue algo que no esperabas para nada y te bloqueaste. De todas maneras, creo que el chico se merece una disculpa, ya no por tema de autoestima o de cómo se haya podido sentir (que también, por supuesto), si no porque es una persona con la que has compartido momentos, que te gusta y que se ha mostrado contigo tal cual es. Claro que tenía que habértelo dicho al ver que la cosa iba a más, pero el mostrar hacia ti la confianza que ha tenido al no pararte la mano cuando le tocaste el pantalón dice mucho de él, de lo que le gustas y de lo que le transmites.
Evidentemente el chaval te gusta, y yo no descartaría el intentar que la cosa vaya a más, siempre es buen momento para experimentar, pero tampoco es una cosa que tengas que hacer de golpe.
Deberías hablar con él y plantearte bien las cosas antes de decirle adiós simplemente por no tener pene.