No sé, por lo que cuentas parece que tiene algún puesto de responsabilidad en la empresa, es vuestro jefe o algo así? Quizás se aproveche de la situación para verse con las chicas del trabajo? Si todas lleváis la situación con discreción pues quizás no hayas sido ni la primera ni la única.
De todos modos tampoco tienes claro que se estén viendo más allá del café, ni tampoco sabes por qué habéis dejado de hablar ni nada, es una situación muy poco específica la que nos cuentas.
Lo de enfadarte pues, supongo que tienes derecho a que te siente mal, pero si al fin y al cabo no tenías nada con él más que un tonteo pues me parece un poco absurdo.