Pufff, yo no podría soportar algo así. Es una decisión muy personal que sólo tú puedes tomar, pero en mi caso sería motivo suficiente para separarme.
Tampoco es necesario hablar de divorcio ahora mismo, con todo su papeleo, con que os separeis y os tomeis un tiempo, a ver si él se da cuenta de lo que está perdiendo y reacciona, quizá sea suficiente. Pasado un tiempo y según veas si la cosa se puede retomar y arreglar, o si no tiene solución, ya podrás decidir si divorciarte o no.