Vamos a ver, es normal que te moleste. Al fin y al cabo es TU CASA. Tu suegra no tiene ningún derecho a entrar cuando le de la gana y cambiar las cosas de sitio.
Tu novio me parece un niño de mamá y un huevazos por haberle dado unas llaves sin su consentimiento. El habrá pensado: «venga, viene mamá a limpiar mi mierda pues estupendo, así no tengo que hacerlo yo». Me parece una actitud muy infantil y machista, y más sabiendo que eso te molesta a ti.
Yo hablaría con tu novio porque es él quien tiene que ponerle unos límites a su madre, y si eso no funciona, llamas a tu suega y educadamente le dices que no hace falta que venga a tu casa a limpiar, porque es tu casa y la tienes como te sale del moño. Fin de la historia.
Si eso no funciona, siempre podéis cambiar la cerradura y no darle a ella una copia de las llaves.