La pregunta que haces es algo personal. Tienes que ver tú si te da igual o no. Pero si ves que te supera y acaba llevándote a ser como no quieres, tendrás que hablarlo con él. Él podrá decidir mantenerlo, y entonces, tú deberías mirar por ti, y dejarlo.
Lo que no puedes es estar en una relación en la que no confías en tu pareja, porque eso sólo acaba minándote y destruyendo tu autoestima.
Yo creo el primer paso sería hablarlo con él, y decirle como te sientes. Y ahí, evaluar si ves que a él le importa cómo te sientes tú o no (en el segundo caso, ¡huye!), y también escucharle y valorar lo que él te diga, y ver si su explicación te sirve o no.