Háblalo con los dos. Eso sí, seguramente te supondrá perder la relación familiar. Estoy convencida de que por muy pequeño que fuera tu hermano, con todo eso que aclaras, lo tiene que saber. Otra cosa es que haya decidido ignorarlo para mantener la relación con su padre.
Seguramente no puedas arreglar nada, pero al menos te quedará la conciencia tranquila.
Yo también lo comunicaría en los servicios sociales que llevaron tu caso en su momento, a ver si pueden hacer algo, tipo mediar con tu hermano… aunque lo veo difícil.
Como te digo, lo más probable es que quedes apartada de la familia. Y puede que sea lo mejor para ti.