Hola, guapa.
Entiendo tu rayada e inseguridad, más si dices que eres insegura (yo también lo soy). Pero si realmente él no suele hacer comentarios de ese tipo y es evidente que le gustas y le atraes, yo no le daría más importancia. A veces se nos escapan comentarios absurdos que ni siquiera los pensamos, si los analizamos; simplemente son automáticos o cosas que hemos mamado.
Creo que no merece la pena que le des más vueltas si por todo lo demás la relación y su trato hacia ti te hacen sentir bien.
Un saludo!