Sí debería molestarte. No sé quién cojones te ha dicho que eso no debería molestarte pero si. Lo que tu novio hace es una falta de respeto y no deberías tolerar conductas de ese tipo. Además del poco respeto que te tiene, te demuestra que no tiene consideración hacia tus sentimientos. Te esta afectando a la autoestima. En serio, o cambia mucho su actitud o sal de esa relación, a la larga lo vas a agradecer.