A ver, imagínate por un momento que es otra cosa. Que a tu pareja no le gusta el olor de las mandarinas y te pide que si las comes no lo hagas a su lado. Te parecería mal eso? No te irías a otro sitio a comer mandarinas aunque también sea tu cocina?
Si él te dice que le incomoda que lo hagas a su lado, lo lógico y normal en una relación sana es que lo respetes y lo hagas en otro sitio. Que a otras personas les incomode también o no, es un tema que no tiene nada que ver con vosotros ni con vuestra relación.