Claro que se puede.
Yo por una de las partes he crecido con una familia totalmente ausente. Lo único que es un poco rollo cuando alguien muere porque es evidente que no había relación y vas por respeto (y a la gente le gusta cotillear). Pero dejar de tener contacto es un alivio. Es como si te obligasen a juntarte con casi desconocidos, te resulta violento hasta tener que darles un par de besos porque no te nace… Al final no les echas de menos porque no han sido parte de tu vida. Y ellos lo han elegido así, no es unilateral.
Por el otro lado mi familia es muy de juntarse, celebrar todo, acordarse de cumpleaños, etc., así que cuando les ves te alegras (incluso aunque les veas en un tanatorio) porque te alegra que estén bien, te alegras por sus logros, etc.