Creo que te iría muy bien poner distancia física de por medio, toda la que puedas. Irte a vivir más lejos de tu familia, si puede ser incluso en otra ciudad. Si no, vender el piso y comprar otro lo más lejos que os sea posible. Así el contacto será mucho menor y sin dramas, y es muy posible que la poca relación que tengáis incluso mejore.