Creo que si, que deberías de dejarle, pero por el bien de él porque si te estás planteando dejarle por esto, es que realmente no le quieres y no quieres estar con él y buscas esta excusa para dejarle.
Y por cierto, no es una manía de tu novio y no es algo que haga aposta.
