Hola Bibi,
Sí, es problema tuyo por darle tanta (demasiada) importancia y relevancia al físico. Créeme que a tu novio le gusta tu físico, entre cositas más importantes como tu personalidad :D
La pregunta clave es: ¿se siguen hablando o viendo como para que se pudiera dar esa situación?
Aunque de todas formas, en caso de que fuese así, deberías rebajar esos celos y ese miedo a que te reemplace por ella. ¡CONFÍA EN ÉL!