Entiendo que respetas sus ritmos pero lo que te molesta es esa incomodidad de estar en su casa y tener que estar con sobresaltos por si llega alguien.
Lo que no entiendo y creo que sí es un punto en el que te deberías plantar con él es que sigas yendo a su casa. Si él no quiere presentarte y evita que te encuentren en casa haciendo el escondite, lo normal es que no te exponga a esa vergonzosa situación.