Lo tuyo no es peor que los suyo. Lo suyo es acción y lo tuyo reacción, si el no atacase tu no tendrías que defenderte.
Que gritar no está bien, sobre todo para terceras personas que tienen que presenciarlo, vale, sabes que tienes que trabajarte eso.
Yo te diría que le dieses un ultimátum, si quiere relacionarse contigo no puede volver a faltarte al respeto.