Hola!
Lo primero, qué suerte que tu hijo tenga una madre como tu a quien le pueda confiar las cosas. Has hecho muy bien tu trabajo como madre en darle ese espacio seguro.
Tú hijo ha confiado en ti, no rompas esa confianza que ha depositado en su madre. Te está pidiendo protección. Le puedes decir que la próxima vez que haya que ir con los primos y la familia que no se preocupe que ya harás tú por no permitir que se quede a solar con ellos. Cuando se dé la situación, si los primos le invitan a jugar les dices que tu hijo no puede o no va porque no le dejas tú y no hay discusión, así le quitas a tu hijo ese peso de encima, se siente protegido.
Algunas dirán que lo estás sobreprotegiendo, que tiene que ser él el que lo resuelva pero es que él ya ha intentado ser asertivo y los ha dicho que no quiere participar en esas fechorías y los otros no lo aceptan. Entonces esta es la opción que veo más equilibrada entre proteger a tu hijo, no traicionar su confianza y no tener que dejar de ir con la familia.
Un saludo!