Masturbarse es autosatisfacción fácil sin esforzarse por satisfacer a nadie. Como tu dices estará cansado, le apetecerá solo un desahogo rápido pero sin preocuparse por ti, y más si en las relaciones es él quien se mueve más (que no sé si es el caso). El hacerlo en el baño será porque quiere intimidad, o porque creerá que no te estas enterando para que precisamente no te ralles como lo estas haciendo.
Lo que deberías hacer es hablarlo con él y que te explique su motivación.