Pues yo voy a ir un poco en otra línea de los comentarios.
A mi no me parece algo grave esto que cuentas.
Lo he hecho y me lo han hecho, no siempre pero a veces los planes salen cuando salen y ya está.
Háblalo con normalidad con él, si realmente prefieres no quedar en esas circunstancias díselo pero sin recriminar porque puede dar la impresión de que le das a elegir entre unos planes y otros.
Si le cuesta decir que no, díselo asertivamente, pero que no sea siempre decir que no a los demás.