Si no dependes de el económicamente,(y si dependes, será algo mas complicado, pero también se puede y mas si no tenéis hijos, vuelve a casa de tus padres si es necesario) no veo el problema en dejarlo, la soledad no te va a matar. Pero como bien dices que no lo quieres dejar, y el eso lo sabe, pues así te tarta, hasta que sea el quien te deje y entonces, te sentirás aun peor.
Si no lo quieres dejar, solo te queda una cosa y es aguantarte y seguir soportando estas cosas.