El que tiene que poner límites es SU hijo, que para eso son sus padres.
Por supuesto, cambia de cerradura (que por 30€ te quitas de problemas), y dale la llave a alguien de confianza que sepas que no va a entrar en tu casa sin avisar.
A las 23:30 no se va a casa de nadie, por muchas llaves que tengas no entras sin llamar en casa de nadie, es de lógica.