Yo tengo muchos grupos de ese estilo y no pasa nada. Se crean en su momento para algo concreto y luego se quedan ahí.
Si tú apenas interactúas en el grupo de todas es normal que piensen que no te interesa lo que se habla allí y prefieran comentar cosas por el otro. Yo lo hago más que nada por no molestar a las personas a las que no les interesa, pero seguimos hablando por el grupo normal.