Mucha gente te dirá que lo que haga como pareja es independiente de lo que haga como padre, y que a ti no te ha hecho nada malo, pero lo que sientes es totalmente normal. Es una persona muy importante en tu vida y creías tener claro cómo era, y lo que has sabido de él rompe por completo la idea de él que te habías formado, y eso duele mucho. Es normal sentir decepción, es normal sentir enfado cuando alguien trata mal a tu madre (sea quien sea, pero si es alguien a quien admirabas, más). Todo lo que sientes es normal, que nadie invalide eso.
Lo que puedes hacer a partir de ahora no lo sé. Yo creo que en tu situación, intentaría hablar con mi padre y explicarle todo eso que he sentido, también le daría la oportunidad de hablar de ello. Lo que hacemos tiene consecuencias más allá de las obvias, y él tiene que entender que aunque el daño directo ha sido a tu madre, tú también has sufrido con esto.