Tiene derecho pero jamás sin avisarte. Lo de avisar no es cuestión de tener derecho o no, es cuestión de educación y respeto. Te tiene que avisar como tendría que avisar a una compañera de piso.
Y tiene derecho pero esas cosas se pactan y se acuerdan.
En definitiva no, tu novio no tiene razón.