Estoy pasando por una situación parecida. Acabo de descubrir que mi pareja tiene una amiga desde hace 20 años por la que siente una fuerte atracción, parecido a lo que describes, y descubrirlo me ha destrozado. Es una infidelidad en toda regla y una falta de respeto, no sé a qué te refieres con eso de «no es nada gravísimo», pero el hecho de las conversaciones y el tonteo que comentas me parece más que suficiente para verlo como una deslealtad y una manera muy tonta de complicaros la vida.
No sé si sería bueno hablarlo con tu marido, en mi caso me hubiese gustado saberlo antes que descubrirlo de casualidad en un mensaje, por mucho que intentes borrarlos, siempre puede haber un descuido.