Yo le dejaría.
Aunque no te lo haya dicho directamente te ha dejado claras sus intenciones. Ha dicho que piensa seguir yendo a escondidas sin que tú lo sepas sabiendo que es una infidelidad, porque ya ha ido tanteando el terreno para saber cómo reaccionarias si alguna vez le pillaras.
Gente así nunca cambia, solo quiere tenerte ahí mientras él hace lo que quiera.