Me pasó lo mismo con mi primer novio: al principio me gustaba todo de él (o casi todo), pero con el tiempo, me di cuenta de que, en realidad, había un montón de cosas de él que no me gustaban en absoluto, que éramos totalmente opuestos, y que seguir con él era una equivocación, así que fui sincera y rompí con él, haciéndole daño, porque él sí estaba enamorado de mí, pero yo sabía que no había vuelta atrás, y que cuanto más tiempo pasase, peor sería para los dos.
Te aconsejo hablar sinceramente con él, no hay otra. Suerte.