Siempre pensamos que hay algo malo en nosotros pero por lo que cuentas parece totalmente que el problema era un complejo suyo que le impedía relajarse. A ti te tocó entera, no? Cero problemas con tu cuerpo y seguro que le atraías, pero el conflicto parece que era con mostrarse él.
Yo te diría que no te quedes con la duda y le preguntes, igual una explicación (que no estaría de más) te calma la inseguridad.