Primero, no te culpes por no querer dejar a los niños con nadie, en mi caso nos pasa y nunca los dejamos con nadie, cada uno cría a sus hijos como quiere, y si es tremendista o no, es cosa vuestra.
Nosotros tampoco tenemos tiempo y sin embargo nunca me ha pasado algo así, así que puede que contribuya pero no creo que haya sido decisivo. Hay parejas con tiempo para estar juntos y pasan estas cosas igual, sentirse atraído por otra persona creo que no es demasiado grave, siempre y cuando no empiece a afectar a tu relación. La verdad que creo que lo mejor es evitar hablar con él y poner distancia, vuestros hijos son amigos pero bueno, habrá más niños con los que tengan amistad, intenta no hablar con él y limitar la relación, por pequeña que sea, porque si sigues así no vas a quitártelo de la cabeza. Un saludo