Él no querría relación contigo, la conclusión de que no se iba a hacer cargo de su hija es tuya, él no ha dicho eso.
Es bastante probable que el comentario viniera del contexto de la conversación con la compañera con la que estaba hablando. ¿Le has escuchado lo que estaba contando? Igual esa persona tiene mala relación con su ex y tu marido simplemente ha expresado que pasaría de esos rollos.