Hola guapa! Como bien dicen por aquí arriba, nos falta un poco de info!
Mi opinión es que ya que tienes la duda de si seguir o dejarlo, y ya tienes en mente la posibilidad de dejarlo aunque vaya a ser doloroso, es enfrentarte a la realidad preguntándole. Por experiencia propia, es mejor no dejar que esas mentiras queden en el olvido porque al final se hace un cúmulo que después es muy difícil deshacer. Yo, tranquilamente, le expondría la situación.. «Oye, x, necesito hablar contigo. Ya sabes que tengo un problema de autoestima y quería decirte que ha habido un par de cosas que no me han cuadrado y me gustaría saber qué opinas, si tienes algo que decirme o si hay alguna explicación»..
Siempre déjale la oportunidad de explicarse, sin culparle directamente, no vaya a ser que todo sea fruto de esa inseguridad que tienes, y si sigue sin convencerte, cariño.. Puerta.
A veces nos encerramos en una persona que por mucho que nos encante no nos hace bien, espero que no sea tu caso y que, sobretodo, mantengas la cabeza bien alta.
Un abrazo enorme, ya nos contarás!
PD: Lo más importante de ésto es que empieces a amarte y valorarte por encima de todo y todos! ?

Entiendo perfectamente por lo que estás pasado y por ello te recomiendo encarecidamente que le sigas. Te coges a una amiga con su coche y en el momento que lo veas con tus propios ojos será doloroso, pero no tendrás ninguna duda de qué es lo que quieres hacer.