Creo que si tanto te molesta su presencia te recomiendo que hables con tu marido y directamente anules todo tipo de visitas en vuestra propia casa.
Sin quiere ver a sus nietos que se los lleve su padre a su casa, a poder ser sin ti o contigo, pero estando en su casa podéis decidir cuando vais y cuanto tiempo. Y ya está.