No sé si ya habrás hecho algo o no. Si todavía le estás dando vueltas yo te diría que lo primero es que te asesores con un abogado. No abandones el domicilio ni te lleves a tu hijo así sin más. Por otro lado empieza a buscar otro trabajo.
Si tienes alguna duda de si dejarlo o no por tu hijo, ten claro que éste es uno de esos casos en los que no hay ninguna duda. Déjalo. Tu hijo cuando sea mayor (mayor de verdad) tiene que saber qué pasó, que su madre tiene dignidad y que veladte por él.
Mucha suerte y ánimo.