Todo lo que cuentas es terrible. No se puede usar la ansiedad como excusa para maltratar a alguien y manipularle.
Debes dejar esa relación cuanto antes y centrarte en ti, trabajar en tus cosas con terapia y a él que le peten. Te está machacando, de verdad.