Te puede rechazar por tu peso o por muchos otros aspectos, eso no lo puedes saber. No sé el nivel de tus indirectas, pero si son bastante obvias, puede ser que sí se dé cuenta, pero no quiere seguir el juego y prefiere no darse por enterado, porque no le interesa tener nada contigo. Ser tímido no quiere decir ser tonto. Tus compañeros de oficina te animan pues siempre va bien tener un cotilleo del que hablar. Tampoco sé qué relación tienen ellos con él, pero si bastante gente del entorno laboral sabe que te gusta, puede haberle llegado incluso el cotilleo a él. Para no quedarme con las ganas yo le invitaría a un café al salir del trabajo con la excusa de hablar de algún tema que os interese o cualquier otra excusa, pero con un plan muy de amigos como es tomar algo rápido al salir del trabajo. Si a ese plan te dice que no, pues ya obvio que no le interesas para nada más y mejor dejar las cosas como estan.