Estoy de acuerdo contigo en que te lo podría haber consultado antes de cambiar el billete, pero no veo que tenga la gravedad con la que te lo estás tomando. Si te lo hubiera hecho más veces vale, pero siendo la primera, creo que es tan sencillo como explicarle que te ha molestado, el motivo y ya. Si te lo vuelve a hacer más veces, entonces quizás ya de pie a ver la cosas de otra manera.
Por otro lado, dices que te da miedo hablarlo con él porque quizás ya no quiera seguir conociéndote. Si una persona ya no quiere seguir conociéndote por haber expresado cómo te sientes sobre algo que te ha molestado, no crees que igual el problema es de esa persona y no tuyo? (Obviamente no hablo de que le montes un pollo, ahí sería normal que te mandase a la porra)