Dices que quedas con él, yo le propondría tomar algo y tranquilamente le dices cómo te sientes y que no te gusta que lo haga porque te deja mal y te hace daño, que es libre de hacerlo, por supuesto pero que a ti te hace daño. Si aun así sigue, cortaría la relación con él y me alejaría todo lo que pudiera porque ya no puedes hacer nada más que esperar que pase y no te interesa tener una persona en tu vida que te deja por ahí por los suelos.
Animo