Hola guapa. No es una justificación, solo una explicación del comportamiento de tu abuelo. Seguramente a su forma te quiere, y en su mente los comentarios sobre el físico, por su mentalidad, su cultura y su generación él cree que no tienen importancia (época posguerra, que a uno le dijesen gordo o gafotas era el menor de los problemas). De hecho si tanta insistencia hay en que vayas a verlo debe ser porque él lo demanda, porque te necesita, y no creo que sea consciente del daño que te ha hecho si nadie se lo explica «en su idioma».
Dicho esto, está claro que tendrá que hacer un esfuerzo en entender que ha hecho mal y que no debe actuar así más. Creo que todos vivimos una evolución en nuestra mentalidad y enfoque de las cosas, a muchas nos ha ocurrido con el feminismo (yo era de las que «ni machista ni feminista»), y si no abrimos la mente, nos quedamos atrás. Yo intentaría tener una larga conversación con tu abuelo (si aún tiene todas sus facultades mentales, claro) y si a pesar de eso no hay forma, sin rencores, por tu propia salud, mejor que lo evites, tu madre lo tendrá que entender. Un beso!