Habla con él, no eres agarrada, simplemente tienes poca pasta, no es que no le quieras dar, es que no tienes! Díselo y si no es capaz de entenderlo, ni de comprender tu situación plantéate que tipo de persona es y si realmente quieres estar con alguien que no entiende tu situación ni tiene empata.
Ánimo que no estás haciendo nada malo.