Voy a ser la nota discordante con los comentarios anteriores.
Si no te sientes bien en tu trabajo y puedes permitírtelo, por supuesto que puedes dejarlo. Puedes presentar la baja voluntaria y buscar otro trabajo. De hecho, una persona cercana a mí ha tenido que hacer eso mismo por motivos personales.
No hay ningún obstáculo legal y lo que opinen los demás importa poco, si tu tomas la decisión por algo será.