Estoy totalmente de acuerdo con tu novio y tu hermana.
Ahora bien, está claro que a tí eso no te sirve, ergo, tienes que plantearte si es algo para romper la relación. Y si al final el resultado es romper, no te sientas culpable.
Lo importante es conocerse y saber cuales son los límites de cada uno y actuar acorde a ellos.