Puedes pedir la custodia, total o compartida. Que justo es el único asunto del que no hablas en tu post.
No te has tenido que ir de la casa familiar por ser «el adulto con más recursos económicos», sino por ser el adulto que NO QUIERE CUIDAR A SU HIJO, el que prefiere llevar vida de soltero sin responsabilidades. El adulto que se queda a vivir en la casa familiar es el adulto que cuida al niño: tu exmujer, en este caso.