A ver, entre otras cosas, yo te diría que no le des tantas vueltas, siempre nos creemos que los demás están más pendientes de nosotros o de fastidiarnos, por muchas manía que nos tengan, que lo que en verdad es. Más que nada, porque bastante ocupado está cada uno con su vida.
Respecto a tu problema, te aconsejo que cambies el aire de sitio y te quitas un jaleo. Si se vuelve a quejar por otra cosa, al menos tendrás en tu beneficio que ya has hecho por contestarle y él solo quiere molestar.