Cambia la cerradura, si cuando dejes el piso le dejas la anterior o las nuevas llaves, todo bien.
No puede entrar SIN TU PERMISO ni avisando ni sin avisar. Primero cambia el bombín y luego le dices que no te sientes cómoda sabiendo que entra cuando le apetece, que legalmente no lo puede hacer y que a la próxima tendrás que tomar medidas.

Si avisa de que va a venir, podéis no abrirle o decirle que no estáis, puesto que esa no es su casa, es como cualquier otra visita. No tiene porque entrar al piso si vosotras no le dejáis. Ya no te digo entrar con sus llaves… eso es hasta denunciable.
Lo que me huele es que debe ser un pvto salido y va a ver chicas o a revolver vuestras cosas cuando no estáis. Es que me da asco solo de escribirlo.
Podéis intentar hablarlo por las buenas, pero no tiene buena resolución. Porque él dirá que es porque hace mantenimiento y al final tendréis que poner un cerrojo o cambiar el bombín (recomendación que te hago. En todos los pisos de alquiler al entrar se cambia el bombín. Cuando te vayas dejas el que había y chimpún).
Que se enfada, pues que se enfade. No puede echaros así de la noche a la mañana. Si el contrato tiene una validez de un año o dos o los que sean, lo tendrá que respetar, pero si es cierto que os puede hacer la vida imposible, pero tampoco podéis estar a expensas de que entre cuando le de la gana.

Es ilegal y lo hace porque sois una chiquillas y le mola sentirse el amo del corral.
Cerrad con llave cuando estéis dentro. Decidle que no lo haga, que si quiere revisar algo que os avise y quedais a una hora.
Si insiste, tenéis todo el derecho a cambiar la cerradura.
A varias amigas les a pasado. La mayoría dejaron de hacerlo cuando se les dijo. Aunque algunas cambiaron la cerradura. O pusieron un cerrojo. Unas pusieron cámaras y lo pillaron rebuscando por la casa. Se cambiaron de piso, pero le enseñaron la grabación, amenazaron con la policía y no le pagaron el último mes.
Vamos, que no puede hacerlo. Si os alquila la casa, solo vosotras tenéis el uso.
Si alquila habitaciones, tiene que avisar antes de ir a hacer nada. Y desde luego no abrir el y hacer lo que le de la gana.
A mi me daría muy mal rollo.

En teoría y según la ley ni siquiera puede tener una copia de las llaves. En la práctica los caseros se suelen quedar con una llave pero no la usan y mucho menos sin permiso y sin avisar como hace tu casero.
Yo intentaría hablarlo por las buenas, que vosotras habéis alquilado el piso y tenéis derecho a la intimidad, que no os sentís cómodas sabiendo que en cualquier momento él puede estar en el piso y os da un susto, lo normal, vamos.
Otra solución es que cuando estéis dentro dejéis una llave puesta en la cerradura por dentro, pero claro, si tú estás sola y te metes en la ducha tampoco podría entrar tu compañera de piso, así que sería un rollo.
Yo hablaría con él y si no funciona pues cambiáis la cerradura.

Después de haber leído todos los buenos consejos e indicaciones que ya te han dado, si nada de esto funciona, toma medidas más drásticas que un simple cambio de cerradura y/o poner cámaras.
Es decir, con las pruebas en la mano, denuncia por allanamiento de morada incluso si te toca demasiado la moral, por acoso sexual, ya que entra en TU domicilio incluso cuando estás desnuda, además si en ese momento te encuentras sola, en esa situación estás completamente desvalida

Y lo de hablar como personas civilizadas, ¿no se le ocurre a ninguna de las brillantes mentes de por aquí?

NO puede entrar cuando le da la gana. En el momento que alquilas un piso ese piso “deja” de ser de él. No debes ser tan complaciente, no te debe importar si se molesta o no o a ver cómo se lo dices para que no se enfade… eso es algo que nos han metido a las mujeres en la cabeza de no molestar, hacerlo lo más pacíficamente posible y a veces cuanto más maja eres peor es xq te cogen por tonta… y no, así no es. A veces viene bien pensar, ¿qué haría un tío?. Pues del tirón y a la cara le diría, oye, te estás pasando viniendo sin avisar y entrando con tus llaves, es muy intrusivo, se acabó y marcaría los límite con firmeza. A partir de ahora quiero que me preguntes cuando quieras venir a ver algo. Se llaman derechos. En el fondo sabes que es lo que tienes que hacer pero es difícil el enfrentamiento y más cuando nos han educado para evitarlo y no molestar. Dale caña! Cuánto menos sumisa parezcas mejor. Hazme caso que más sabe el diablo por viejo que por diablo jaja