Creo que lo que te molesta no es lo que diga la gente, es que tú también QUIERES que seáis más que amigos y te estas haciendo ilusiones con que efectivamente va a pasar algo en el viaje.
Lo tuyo es “me voy con el chico que me gusta ¿pasará algo más?” y eso es muy distinto a “me voy de viaje con un colega”. Me temo que sin bola de cristal no podemos contestar a lo que de verdad te preocupa