Tu situación es difícil, pero él ha tomado esa decisión. Si te ves incapaz de soportarlo, yo creo que lo mejor es que des un paso al lado.
Dudo que siga enamorado de su exmujer, sino no se habrían separado (con todo lo que ello supone). Entiendo su postura, aunque la parte complicada te la llevas tú. Pero creo que no tienes más remedio que hacer que la situación te guste o dejar la relación.