Hola ! Siento tu situación, yo también tengo un bebé de casi 5 meses. El y yo seguimos sintiendo deseo el uno por el otro, pero es bastante difícil tener intimidad y a veces cuando puedes, estás cansado, «lo vas dejando» y te acostumbras (un poco solo jeje).
Creo que si el te quiere, todo tiene solución. A veces algunos papis se siente un poco fuera del vínculo mamá-bebé y esos celitos pueden manifestarse así. No le busques de forma sexual porque puede agobiarse aún más, hazle muchos mimos, abrazos, besos inesperados y él irá reaccionando. También seguramemte necesite verte sin el bebé, en otro ámbito para que vea que «sigues siendo tú». Seguramente os ve como algo indivisible y para eso es una barrera. Llegado el punto que esto no pase yo iría a terapia.