En tu relación hay varias cosas mal.
Lo primero, que su familia te tratara mal y tu novio no te defendiera.
Lo segundo es que evitar el problema (a su familia) no significa solucionar el problema.
Qué tipo de relación te gustaría tener con la familia de tu pareja?
No te pregunto con la familia de tu pareja actual, sino de tu pareja ideal.
Por ejemplo, para mí tener pareja supone integrarlo en mi familia, y que me integre en la suya.
Por otra parte, con la pareja se suele compartir el día a día y también los momentos de ocio (fines de semana, vacaciones, etc). Si tú estás excluida sistemáticamente del ocio con él, podrías replantearte la relación.
Por último, la dinámica de tu pareja von su familia parece de dependencia con su madre. Esto no lo vas a poder cambiar tú, queda fuera de tu alcance. De nuevo, plantéate si puedes compartir tu vida con alguien tan condicionado por su madre.