Entiendo perfectamente tu situación porque yo vivo una muy parecida con mi abuela. Al final, creo que todos debemos hacer aquello que: A) nos dé paz mental y, B) no haga daño a los demás.
Es decir, si tu abuela parece acoger de buen grado tus visitas y tú, una vez que se haya ido, vas a poder estar tranquila de que al menos la visitaste antes de morir, perfecto. Si te va a provocar daños a ti misma, a ella o un cisma familiar inconmensurable, pues entonces quizás no deberías. Es una decisión de conciencia y, en eso, solo puedes tomarla tú.