Antes de nada, psicólogo urgente, o bien para terapia de pareja o uno para ti sola, pues la situación que afrontas es complicada y difícil salir de ella sin la autoestima dañada.
Como dice el comentario de arriba, es muy cruel que tu marido comente que le llegó a interesar otra mujer si no se trata nada más que de una sensación pasareja que no volvió a florecer. O bien tu marido es de esas personas que necesitan sentirse siempre santas y limpiar su conciencia contándolo todo, o tal vez esa mujer apareció en su vida antes incluso de empezar vosotros con esta crisis, quizá ella tenga algo que ver pero tu pareja no quiere admitirlo. Todo son suposiciones.
Si lo que quieres es seguir con tu marido, yo no esperaría a daros más tiempo, iría a terapia cuanto antes. Y si la cosa se complica, deberías hacerte valer y alejarte tu, apoyate en tu familia y amigos, buscar un psicólogo desde el minuto uno y avanzar a tu ritmo. Es una situación muy dura pero saldrás de ella, con marido o sin él. Mucha suerte bonita.