Tienes que pensar si realmente le quieres, porque no pareces ser capaz de mantenerte fiel, o eres de relaciones abiertas, pero deberías pensar seriamente cuales son tus sentimientos hacia él.
La actitud de él, se me ocurren varias explicaciones: que él también es infiel, que es muy inocente y se lo cree todo, que esta ciegamente enamorado o, que ya no te quiere y por eso le importa poco lo que hagas.
Te toca hablar con él, aclarar que sentís el uno por le otro, que tipo de relación queréis tener, hablar hablar y hablar, porque está muy vuestra relación está muy tocada y, o lo dejáis, o trabajáis para arreglarla