Creo que tenéis que hablarlo en pareja, sí, la decisión última es tuya, no vas a tener un hijo por contentar a otro, pero creo que la persona a la que debes expresar tus dudas y miedos es tu marido y no a unas extrañas de Internet.
De hecho, si estáis bien, no sé porque no lo has hablado directamente con él, digo yo que después de 6 años tendréis confianza para hablar esas cosas.