No va porque no quiere. Se entera perfectamente de que le estás invitando, y como bien ha dicho Nerea, si no te lo dice directamente es para que no pases un mal trago. Yo he estado en el lado del chaval, y es muy frustrante cuando una persona te insiste por activa y por pasiva aunque tú declines la oferta una y otra vez, porque sientes que o no te está entendiendo o es que no quiere hacerlo y es un chapas, y tú lo que no quieres es hacerle sentir mal siendo tajante pero al final lo tienes que acabar siendo y se crea un ambiente incómodo para ambos. Quizá la solución pase por ser claro desde el minuto uno, pero muchas veces es que simplemente no quieres parecer un/a creído/a dando por hecho que la otra persona tiene un interés real por ti, aunque sea muy obvio.
Si no quiere, no insistas; da igual las razones que le lleven a ello, lo importante es que no quiere y eso hay que respetarlo. Igual quiere ser tu amigo porque le caes muy bien y no quiere que lo pases mal, pero si sigues insistiendo al final ni amistad ni pollas porque se acabará cansando.