Hola!
La situación que cuentas es complicada. No conozco a tu novio, pero empatizo con él y contigo. Te cuento por qué: con él porque probablemente lo haga por miedo, sin ánimo de faltarte al respeto (aunque lo está haciendo), y contigo sobre todo porque entiendo lo que es que te rechacen y seas el bicho raro del lugar y a la que todos evitan. Tu novio debería espabilar y darte el respeto que te mereces, es decir, demostrarte que te quiere. ¿Cómo? Pues mínimamente contestándoles, imponiéndose y haciendo que te invitaran. Mayormente, dejándose de ir con esa gente.
No sé si a él le faltan al respeto también de alguna manera (me refiero a él directamente, porque claramente que te rechacen a ti así, también es una falta de respeto hacia él, porque eres su pareja y no deberían meterse).
Un grupo con el que me iba yo, faltaron al respeto a mi novio de forma similar, y me cabreé tanto que dejé de irme con ellos. A mí me faltaron al respeto anteriormente pero esa fue la gota que colmó el vaso, es que ni me lo pensé.
Conclusión: habla seriamente con tu pareja, intenta comprender su punto de vista, porque probablemente no lo haga por miedo, y ponle las cosas claras de forma respetuosa. A fin de cuentas, en una relación tiene que haber respeto y él, probablemente sin darse cuenta, te lo está faltando a ti.
Un abrazo!