Mira, yo puedo entender que las amistades son importantes. Para mí mis amigos son un pilar, y no estaría con alguien que me quiera separar de ellos (creo que además eso es una red flag).
Pero dicho esto, tu novio es tóxico, no porque tenga una relación cercana a su amiga, sino porque busca ponerte celosa, y cuando lo consigue te invalida tus sentimientos. Me parece a mí que es un manipulador en toda regla.
Además por tu salud mental, es que si no confías en él, va a causarte ansiedad todo el tiempo. Yo me alejaría.