Creo que te falta verlo desde su punto de vista: le dices que puede ir cuando quiera y cuando va a verlo le decís que es muy tarde (que concuerdo con esto, que no son horas, pero intento ponerme en el lugar de tu suegra). Ve que haces un esfuerzo para quedar con tu familia y a ella solo le dices «pasa cuando quieras». No concretas un día y una hora, por lo que parece más una manera de quitarse eso de encima (como cuando te encuentras a alguien y te dice de tomar un café algún día, pero nunca quedáis al final) sin quedar mal. A la mujer le debe dar apuro presentarse sin más después de la regañina por las horas (que tienes razón eh? pero te digo lo que yo creo que pasa).
Prueba a decirle «oye ven mañana a las X hora que está más despierto y así estás un rato con él» e igual cambia la cosa.