No serías egoísta en absoluto. Egoísta ha sido él con sus actitudes (y miedos) antes. Si te compensa y sale del corazón venir a verle por su cumple, como te han dicho por ahí antes, hazlo! A mí me parecería un detalle muy guay!
Y si sale mal nunca te quedarás con las ganas y las dudas de saber que habría pasado si lo hubieras hecho, y él es un idiota por perderte. ?