Cariño estas cosas con el tiempo van a peor asi que mi consejo es el mismo que el que te estan dando las demás, sal de ahí mientras puedas, si tienes hijos luego será mucho mas dificil dejarle y a la larga el no te va a hacer feliz y te arrepentiras de no haberlo hecho cuando podías.
Sé que romper con alguien a quien quieres es dificil pero a la larga será lo mejor para ti, ánimo!