Yo viví algo muy parecido, al final lo dejamos (no por ese motivo) y cuando se pusieron las cartas sobre la mesa fue sincero, me dijo que no tenía buena relación con su familia, que le daba vergüenza que los conociera porque no les caían bien, que en comparación con mi familia la suya era horrible y no quería que cambiara nuestra relación por cómo eran ellos.
No sé si será lo mismo o no, pero por si te puede ayudar mi experiencia personal <3