Vaya situación, aquí el problema es tu padre que como bien dices no sabe gestionar este tipo de cosas y eso a estas alturas ya no va a cambiar. El está con esa mujer, bien, entiendo que te duela el que a esa señora le moleste que vayas a TU casa familiar.
Te voy a decir lo que yo haría para no crear más conflicto con tu padre ni crearselo a él con ella….
No tienes que dejar de ver a tu padre, se me ocurre que en vez de ir a su casa, quedéis en una cafetería, a comer por ahí, que vaya el a tu casa…dar un paseo o cualquier plan que os apetezca.
También de esa forma evitas ver a esa señora porque obviamente ella no va a ir con vosotros si quedáis para comer por ejemplo ¿No? O si quedáis en tu casa no tendrá la cara de ir, más que nada porque en ese caso tienes todo el derecho de mandarla a freír churros.
Pienso que a estas alturas vale más la calma y paz mental y evitar conflictos si hay opciones para ello.
Que ojalá las cosas pudieran ser de otra manera, claro, pero como no pueden ser pues buscar alternativas y oídos sordos a todo lo que esa mujer suelte por la boca.