A ver sólo por un comentario desafortunado no es motivo para dejar a nadie. Otra cosa es que hayas visto más cosas de él que no te gusten.
Tienes que ver cómo es él en su conjunto no un día o un momento que no sabemos si tenía un mal día u otras circunstancias.
Ahora bien también te digo que si te planteas dejarle es o que hay más cosas que ese día, ese comentario o tampoco estás muy pillado.