Puedo entender que te moleste, pero tambien te digo que tu novio no tiene porque compartir algo contigo que no es propio. Me refiero: puede ser (solo son suposiciones) que su hermano tenga alguna dificultad o problema. Es de él, no de tu novio, por lo tanto forma parte de la intimidad de él.
Creo que es importante respetar la intimidad de cada uno, mas sin no te supone ningun daño (que coma a parte, que no visite el piso cuando estas tu,… no te supone un daño). Yo intentaría no darle mas vueltas. Si algun día te lo quiere contar genial, si no, pues no pasa nada. ¿Por que generar roces en tu relacion por alguien ajeno que no te daña?