No te sientas tan mal por mirarle el móvil 1 segundo, dudo que él se sienta ni la mitad de mal por hacer lo que hace.
En mi opinión, si este tipo de conductas no son consensuadas, no deberías tolerarlas. Para mí sería motivo de tener una charla muy seria sobre la relación y, desde luego, no me darían mucha confianza de seguir con él.