Sinceramente, parece que esa relación, al final te está haciendo mucho daño, y te está minando la autoestima. Creo que lo mejor que harías es hablar un día con él, siendo absolutamente sincera y ver por dónde sale. Si no te lo crees… creo que lo que sientes sólo irá a peor, y acabarás dejándolo (o dejándote él), pero con la autoestima por los suelos. Si hablándolo con él no te quedas tranquila… yo te recomendaría que recurras a una opinión objetiva y profesional, que te puede ayudar mucho a cambiar tu forma de pensar si no es adecuada, o a no malgastar años de tu vida si es que es otra cosa.
Respecto a tu historia concreta. Si tu ex lo dejó a los dos años, pues es probable que aún estuviera en plena fase de enamoramiento, y se quedó ahí. Si hubiera seguido con esa chica, y ahora llevaran 11 años, te puedo asegurar que no la tendría idealizada. Y que pudo empezar contigo aún no habiendo superado eso, no te lo tomes a mal. Puede pasar. A mí me paso. Y con la persona que empecé no tuve un enamoramiento (las mariposas y todo eso). Sin embargo, para mí es la persona a la que más he querido. El problema es cómo lo viva uno mismo. Y la mayoría piensa que el amor verdadero es el de las mariposas. A veces más que la experiencia en sí, es cómo tú la vivas. Si tu pareja es de los que piensa así, y a ti te quiere, pero no ha pasado por la fase de enamoramiento, va a sentir que no te quiere de verdad, y no hay nada que hacer.
Lo dicho, habla con él. Ábrete del todo. Y si eso no te aclara… ¡ve al psicólogo! En serio, te va a merecer muchísimo la pena.