Con los errores vienen las consecuencias, y por mucho que quizás el no haya trabajado la herida que le abrió tu infidelidad, la esencia es que tu rompiste algo en un pasado.
Sinceramente, el enfadarte no me parece coherente, el error hecho está y está claro que no tienes que ser reprendida por ello toda tu vida. Yo aprovecharía esta ocasión para zanjarlo de una vez por todas, hazte el test pero también te diría que yo le dedicaría tiempo a explorar por qué se siente así – y si necesitáis ayuda para expresaros probar terapia en pareja o por separado.
Suerte