Sinceramente, yo no iría y no pondría ninguna excusa: los viernes por la tarde no puedo. Y si te dicen algo de que es para mejorar la comunicación entre los equipos o lo que sea: «si necesitamos hacer team building para la empresa, por qué no lo hacemos los viernes a las 10:00 (o cualquier otro momento que esté dentro de vuestro horario laboral)? Así nos aseguramos de que todo el mundo está presente y puede trabajar en sus aptitudes».
Yo sí consultaría con un abogado si te parece que puede haber represalias.