A mis padres les pasó algo parecido, cuando se mudaron al piso a vivir juntos ambos les dieron copias de las llaves a sus padres, por si emergencias y tal, pero resulta que el padre de mi madre entraba cuando le daba la gana. Hablaron con él y la cosa se solucionó.
En tu caso es una situación delicada, y se tiene que hablar con los 2 por que sí, ella es quien entra y ordena tu vida a su gusto, pero él le dio un permiso sin tu consentimiento cuando AMBOS vivís en esa casa. Creo que lo que yo haría sería hablar con mi pareja e intentar llegar a un acuerdo: si él quiere que su madre disponga de llaves (porque recordemos que vivís los dos en la casa) que sea solo para SITUACIONES DE EMERGENCIA O NECESIDAD, nada de entrar, limpiar, recoger o cambiar de sitio las cosas cuando a ella le viene en gana, eso prohibido. Después hablaría con ella, si acepta y acata la situación, perfecto, sino ya optaría por quitarle las llaves. Es vuestra casa y tiene que estar al gusto de ambos, no de vuestros familiares. Y tu chico, que aporte en su casa, que también es fuerte que deje que su madre haga todo lo suyo, eso es infantil y retrógrado.
Un saludo bonita, espero que se solucione.