No, no estás sacando las cosas de quicio. Tu marido ha actuado como un gilipollas con ese comentario.
Yo le cogería esta noche antes de dormir y le preguntaría que ha querido decir con ese comentario, si su intención era hacerte daño y que si está relacionado con el sexo. A ver por donde sale…
De nada sirve que te hagas conjeturas, es mejor que te lo aclare para poder buscar la solución.