Entendería tu postura si él te reclamase por los gastos de la cuenta conjunta pero es que te ha dado manga ancha, te ha dicho que el dinero es de ambos (lo normal en una pareja en esas circunstancias). Al final el dinero es el mismo y sale del mismo sitio.
Si no quieres que vea de dónde vienen los cobros es porque tienes algo que ocultar.