Falta información. A parte de esa tarde sois una ex pareja que se lleva muy bien e incluso quedan más a parte del niño? Le has explicado los motivos de la ruptura y los entiende? Tal vez no sea simple inmadurez y él esté viendo que por alguna parte entre tú y tu ex pareja hay algo más que amistad. Si solo es llevarse bien por el niño es muy poco lógico que alguien se enfade tanto porque se quede a merendar pero si lo que hay es mucha cercanía y más cosas que igual él no entiende también deberías plantearte la relación con los dos. Él no entiende tu cercanía con tu ex pareja y debéis dejar claro qué pretende cada uno en esas relaciones: si es solo ver al niño y hablar de cosas de él, si tenéis buen rollo y de vez en cuando quedáis, si hacéis algún plan juntos para que el niño no vea tan raro el cambio, hasta dónde tu pareja está dispuesta a aceptar que tengas cercanía con tu ex. A lo mejor él empieza a ver raro a partir de que tú ex vaya a tu casa a pasar bastante tiempo. Yo creo que todo es hablarlo y dejar claro qué se espera y qué no se va a aceptar por ninguna de las partes.