Igual podrías intentar negociar (espacios y momentos sin móvil), en algún momento o el tiempo que os venga bien a los dos, quizá así a ti te ayudaría a distinguir los momentos que está «solo para ti» y los que está a otras cosas y te relajarias y el sabría que esos son «vuestros momentos» y que ya podrá estar a lo suyo antes o después y no le resultará tan agobiante.
Por ejemplo, si para ti es importante que desayuneis juntos, puedes pedirle media hora cada mañana para que desayune contigo (igual que la hora la elija el para que cada cual cedais en algo) y en ese rato, prohibido el móvil.
Pero luego tienes que dejarle sus momentos, porque si estáis dos días enteros juntos es imposible que te preste atención las 24 horas, porque la capacidad de atención tiene un límite y al fin y al cabo, ese poder estar cómodo y hacer su vida es lo que hará que esos momentos en los que está en tu casa (creo haber entendido que se queda los fines de semana) se sienta como en la suya y no como si estuviera visitando a su primo segundo.
Es una idea, que igual lo que os funciona a vosotros es otra cosa, es cuestión de hablarlo y negociar.