La «loca» de su madre como la llamas se largó, pero en el momento en que empiezas una relación con una persona que tiene hijos debes tener en cuenta que esos hijos existen y que las circunstancias pueden cambiar (podría haber fallecido la madre, ingresado en prisión…) y que por lo tanto existe la posibilidad de que debas convivir con ese menor, y está claro que no hiciste este ejercicio de reflexión.
Como consejo, buscad ayuda en un profesional (que lo debisteis hacer cuando su madre la abandonó) y ved hasta donde podeis llegar.
Suerte.