Pues yo creo que por muy bien que te lleves con compañeros de trabajo hay comentarios que están fuera de lugar y este es uno de ellos.
Yo que sé, una cosa es que una buena amiga te pregunte principalmente porque se preocupe por ti y otra cosa es que un compañero te diga a la cara y sin filtro que si tienes anorexia.
A mi lo que me preocuparía es el qué te genera esa inapetencia. Por que puede ser consecuencia de algo más (o no). Si todos los años te haces tus chequeos y salen bien, pues ya está.