Claro que espera que te la pongas, pero no tienes que hacerlo sino quieres, faltaría más.
Intenta quitarle hierro al asunto, fluir, si un día te apetece genial y sino no, y si él se enfada es su problema y ya sabes que no es ahí.
Sí te recomiendo que lo hables con él de una manera asertiva en pan: «oye me ha gustado que me regales eso pero no me va este tipo de prendas quizá algún día la use pero no parece que sea pronto» o algo así