Cuanto más rechaces al marido de tu hermana y así se lo hagas saber, más la vas a alejar de ti y acercar a él. Tiene que abrir los ojos ella, y no invitandole a la boda lo que haces es que se aleje más de ti.
Como han dicho, yo le invitaría e ignoraría. Le diría a tu hermana y a algún invitado de confianza que le vigile para que no se pase y a disfrutar de ese día.