No entiendo muy bien que le pueda doler que cambies la fecha por ese motivo, a mi me parece algo sensato por tu parte, ya que estás respetando sus planes y siendo comprensiva. En ningún momento te enfada que quisiera ir al cumpleaños y no verte el finde acordado, al revés, entiendes que quiera ir y que eso implique tardar más tiempo en veros.
Tú no quieres ir a ese cumpleaños, lo que es muy respetable. De hecho él lo respeta.
Hasta donde se ve por lo que cuentas tenéis una relación bastante sana.
Yo le diría de veros otro finde y que vaya al cumple, explicale que se lo dices por él, que claro que tienes ganas de verle pero que el cumple es una vez al año y vosotros podéis veros otro fin de semana.
Aunque me faltan datos, no se si esto será una opción. Si tú ibas a ir a su ciudad ese finde no se qué tipo de celebración es. Me refiero a que si es una cena, puedes ir igualmente y que él se vaya el rato del cumple que serían unas horas. Pero lo dicho, que como no sé qué plan es no se si es viable o no.