Te lo han dicho muy bien en los comentarios anteriores. Si la tónica es que cada vez que quedáis solo es en sus huecos libres , no eres una de sus prioridades. Si encima eres tú la que te amoldas a su vida, pues el otro tan cómodo.
En las relaciones hay que sentar las bases con límites y ponerse firme. Ser complaciente lo único que te va a traer es problemas en la vida en general, con la pareja, familia, amigos, trabajo…. Tampoco hay que ir por la vida montando pollos, pero ser claro.
En tu caso , yo lo que haría es pasar de él totalmente, que sea él quién te busque, te llame o quiera quedar contigo, así verás si en realidad quiere estar contigo y tiene la necesidad de buscarte o pasa totalmente y eres la opción cómoda.
Las relaciones deben ser recíprocas en todos los aspectos, si solo eres tú la que se lo trabaja, vaya plan.
Mucho ánimo