Yo creo que el problema está en que tu marido no empatiza contigo.
Yo también soy hija única y sin embargo mi marido tiene 3 hermanos y 4 sobrinos ya mayores. Aún así a veces mi suegra se pone celosa de mis padres porque le ven más que ella (ellos casi a diario,ella cada 2 días,pero el día que ella no lo ve lo ven sus tío y/o primos paternos). Mi marido a veces me entiende y a veces no. Pero creo que lo más importante sería que hables con él y le expliques como te sientes y que mireis el bienestar del niño.