Yo en lugar de «castigarla» probaría de otra manera. Os han dado una idea que me parece adecuada: invitadla un día y una hora concreta. O incluso subid con el peque a su casa un ratito.
Y que tu marido le explique como él considere que de momento no le vais a dejar el niño a solas a nadie.
