Hola!
Si, como dices, no quieres conservar su «amistad» (yo no lo llamaría así), lo tienes muy fácil! No tienes que darle explicaciones. Sencillamente no lo invites y punto.
Si él te pregunta, entonces explícale lo que te comentaban más arriba: que no ha estado contigo cuando más lo has necesitado con excusas de lo más peregrinas y que eso te ha distanciado de él al punto de que llegar a la conclusión de que si no comparte lo malo, tampoco lo quieres en lo bueno.