Dices que aunque no tienes libido a veces te apetece ese acercamiento… ¿Y por qué no te acercas tú a él y lo que surja?
Por otro lado, cuéntale como te sientes. Quizás descubras, como te dicen en otro comentarios, que él paso por el mismo proceso.
Aunque sea una incoherencia que te quejes de la falta de sexo cuando a ti no te apetece, las cosas de hablan! No hay problema en decirle sinceramente «oye, me he dado cuenta de me afecta que tú tampoco tengas deseo sexual. Sé que de base yo no lo tengo pero…»