Yo te aconsejaría que le preguntaras directamente que porqué nunca podeis ir a su casa.
Lo de que llegue cansado y eso, bueno es normal (yo vivo con mi pareja y por horarios te digo que nos vemos a partir de las 11/11:30 de la noche y temprano por la mañana otra vez salimos a trabajar) pero que solo pida que si haz esto de cenar o querer quedarse en tu casa cuando tú te vas, pues eso ya es pasarse.
Lo normal sería que el día libre lo aprovechara para quedar contigo.
Habla con él y a ver si solucionas algo.
;)