A mí si me pareces exageradisima. Que te siente mal lo veo normal pero que te plantees no invitarle ni a él ni a tus nietos me parece pasarte cuatro pueblos.
Ya sea por valores (que no considera importantes los regalos materiales), por pasotismo o por falta de costumbre, es un detalle ínfimo si tenéis buena relación y creo que algo que se puede dejar pasar sin tener que crear un conflicto familiar brutal.
Estás en tu derecho de desear un detalle de su parte, pero parece que te tomases ese detalle como que no te quiere o con significados ocultos (como que lo hace por fastidiar), cuando te ha explicado que se le pasa porque sencillamente no le da la misma importancia que tú.
Yo le sugeriría que le pida a alguno de tus otros hijos que te compren algo por él si ve que está demasiado ocupado o que se le va pasando y fin del problema.