Es obvio que a nadie le gusta que su pareja empeore físicamente, y no es lo mismo cambiar por el paso de los años, enfermedades, embarazos… que «dejarse», en el sentido de que ya ni te preocupas por llevar una vida sana, descuidas tu higiene, tu imagen… Yo creo que tu novio lo ha dicho en este sentido, y si no es que es un imbécil o aún le queda por madurar.