Aquí veo dos cosas que son completamente separadas:
Una cosa es cuando él pueda porque el trabajo le quita mucho tiempo y por eso no deberías enfadarte.
Si es cuando él chico quiera porque siempre tiene antes otros planes entiendo que te moleste pero son cosas muy distintas. En mi anterior trabajo trabaja 12 y 15h diarias y mi pareja se tenía que adaptar a mi horario si queríamos vernos pero porque es una situación de necesidad.
Mi pregunta es: casi siempre que quedas con alguien es con él? Si tienes tus propios planes y el los suyos habrá días que será imposible quedar porque no cuadran los planes. No te conozco ni te juzgo pero si tienes mucho tiempo libre aprovechalo con otras personas/actividades y así nadie se adapta a nadie. También puede ser que no le consideres tu a él igual que él a ti. ¿A ti te importa el chico más que a él tú? pero bueno es mi sensación. Ánimo!