Me parece muy triste la situación, tanto para ti como para tu marido.
Es cierto que los seres humanos siempre queremos lo que no tenemos, puede ser que ahora con familia numerosa, tantas responsabilidades… estés en una situación muy rutinaria que te haga pensar que la relación con tu exmarido era mejor, que creo que es algo natural y más si la relación terminó por intereses de vida distinto, no por problemas en la relación, falta de amor o cualquier tema así, lo que me choca es que digas que tu actual marido no te ha hecho sentir pasión o ese amor tan profundo.
No todas las relaciones son iguales, ni a todas las personas que pasan por nuestra vida las queremos de la misma forma, pero lo que si deberías pensar bien es si realmente quieres a tu marido y lo ves como la persona con la que compartir tu vida; o lo que me sirve a mi a veces es ponerme en la situación del otro, ¿estarías bien si tu pareja pensara lo mismo que estas pensando tu ahora? Al final si tienes a una persona idealizada y al actual lo comparas continuamente con tu ex, siento mucho decirte que no vas a ser feliz ni tu ni él, porque de una forma u otra eso se reflejará en la relación.