Hola, te dire que no hay manera elegante de hacerlo o bueno si, así como le has manifestado que no te gusta su forma de actuar ni la de su ambiente corta la relación de raíz, dile las razones que has manisfestado que ese mundo a ti no te va, y no estas dispuesta a esperar que algún dia lo supere ya que de por sí la relación apenas va comenzando como para tener esos instintos por él.
No siempre se puede ser la buena persona, cuando ante todo la persona que más debe importarte eres tu misma. En cuanto al tema de la relación laboral estas planteandole tus razones de manera educada y siendo personas adultas debe respetar tu decisión sin traer problemas al plano laboral, sino lo puede manejar allá él.