En el caso que has descrito, coincido totalmente en que estar con el móvil si has quedado con alguien es de mala educación y a mi también me molesta. Ahora, si tu forma de decirlo es «o lo dejas o me voy» pues es normal que la gente se enfade. Como te ha dicho alguna usuaria por ahí, puedes decirlo de mil formas que no sean un ataque.