No parece que tu novio tenga problemas para decir que no. A ti te niega tiempo juntos solos sin despeinarse.
Lo que parece es que no quiere renunciar al tiempo, planes, comidas, gimnasio, videojuegos y demás momentos con sus amigos, y tampoco quiere dedicarte más tiempo a ti.
Que tú le des esa vuelta para disculparlo y buscar un problema que arreglar en común no quiere decir que sea así. Mentalízate de esto: el problema lo tienes tú, él está bien así.
La conversación que deberías tener con él es: creo que nuestras prioridades no son las mismas, y yo no quiero estar en una relación así. Las alternativas son modificar esto a un punto medio que a los dos nos parezca bien, o dejarlo.