Según tu situación te veo dos opciones. O plantearte una relación abierta con todo hablado y bien consensuado, o dejarle.
Si la idea de abrir la relación (que es lo que él necesita por la distancia) no cuadra contigo en absoluto, déjale. Él no va a cambiar.