No sé cómo será tu cuerpo, pero con un talla 40 me imagino que debes ser normativa: ni delgadísima ni gorda. Es decir, que no veo a cuento de qué te hace ese tipo de comentarios. Y haces bien en no tolerarlos.
Pero está claro que eso está dentro de él, y tarde o temprano, te lo volverá a hacer. Supongo que no eres fisícamente como a él le gustaría, y cree que podrías estar mejor, y quiere que hagas los esfuerzos necesarios para conseguirlo.
No sé qué pasaría si por algún motivo subieras de peso…piénsalo…valora si te merece la pena seguir con alguien que piensa de esa forma.