Si es tu sueño adelante. A tu marido le parece bien que es quien cuidara del peque así que no es que «encasquetes» al niño por ahí.
Otra idea sería ir los 3 quizás si podéis ir más días y una vez allí te tomas unos días para ti que ni siquiera nadie se va enterar (es una opción intermedia aunque sigo pensando que no tienes problema). Yo dejé al mío con 2 años también con su papá y me fui con mis amigas 3 días