Es que lo de que se agobió suena a excusa o suena a comportamiento muy infantil, una de dos.
Estar en pareja implica que es normal que haya agobios, situaciones difíciles, no todo es de color de rosa, lo importante es superar esas situaciones juntos.
Si ese chico cada vez que se agobia te manda lejos, no parece que sea una pareja estable. Las acciones tienen consecuencias, y si te manda a la mierda cada vez que se agobie, algún día serás tú la que no quiera volver.
Espero que él corrija eso, porque el problema no es que tú te autosabotees. Es totalmente lógico y normal que su comportamiento te haya creado inseguridades en la relación.