Yo te recomiendo que tengas una conversación sana y sincera con tu novio. Que te explique por qué tiene celos de su hermano, quizás haya una historia detrás que lo justifique.
Una de dos, o hay un motivo que le haga no fiarse de su hermano, o no se fía de ti. Si es lo segundo, estás tardando en poner distancia con tu ex-novio.