Puedes plantearle que cuando termines de trabajar intente estar en casa para hacer algo juntos. Si no terminas hasta las nueve o diez de la noche entiendo que él pueda estar por ahí hasta esa hora, pero que llegue cuando tú terminas para estar contigo. Explicáselo y, si no te entiende o le da igual lo que sientas, entonces vete a casa de tus padres.