Los problemas hay que afrontarlos directamente. No sé cómo ese primer día no le dijiste que no entrara en tu casa sin tu permiso, que las llaves que le has dado no son para que las use ni llevarlas encima, si no para que las guarde y te las de cuando se las pida… Al callarte has validado su comportamiento. Ahora te toca tener una conversación incómoda…
Y si no funciona, pues quitale las llaves. Sí te resulta violento tal cual, dile que has perdido las tuyas y no se las devuelvas.