Es infidelidad ya que en ningún momento habéis establecido que eso esté permitido en la relación, además de que te lo oculta porque sabe que está mal, lo cual es la única prueba que necesitas para comprender que es una infidelidad.
Ahora te toca decidir qué quieres hacer. Yo personalmente lo mandaría a chupar piedras pero tú verás…
