Tiene derecho a no sentirse ya atraído por ti lo mismo que tú tienes derecho a dejarlo por eso mismo.
Lo que no me parece normal es que digas que te ha machacado con decirte que no le atraes. Por lo que dices parece que ha sido respetuoso y simplemente te lo ha dicho cuando has preguntado debido a su rechazo.
El como te tomes sus palabras es trabajo tuyo personal porque en ningún momento te ha faltado el respeto.
Como cuando en una pareja acaba el amor entiendo que un cambio físico drástico cambie tu percepción sobre tu pareja y no seamos hipócritas por dios.
Así que habla con el tranquilamente y si te hace sentir mal pues termina y ya.