Cada persona es como es, pero tienes derecho a enfadarte aunque fueras la única en el planeta en pensar así. A mí me parecería un dato innecesario y muy rudo, no me haría sentir insegura pero me enfadaría porque me parece un comentario de capullo delante de tu pareja. Has hecho bien en decírselo y aunque no lo entienda, debería respetarlo.