Creo sinceramente que a mi también me molestaría. A ver, los chicos pueden tener amigas obviamente pero el problema está en que aunque el diga que no quiere nada y que no hace nada, está quedando con una chica de la que sabe que si quiere algo con él. Si está quedando con una chica con la que se ha estado acostando y que sabe que quiere algo con él aunque él no quiera nada se está exponiendo a que ella intente algo y le da esperanzas. O te la está pegando o le gusta tener ahí a un plan B para sentirse más seguro lo cual tampoco está bien.
Yo le expondría mis dudas, a veces nos preocupa lo que pensarán los demás más de lo que nos preocupa nuestra paz mental. No hay que ser tóxica pero si tener una buena comunicación.