Parece exploración sexual, es algo muy frecuente de la infancia, pero si te afecta tanto deberías tratarlo con un profesional para poder tenerlo como un recuerdo más inocuo.
De todas formas no creo que que tu novio te vea como alguien especial y la virginidad estén relacionados, salvo que seáis personas muy religiosas.