Mi recomendación es que las próximas veces que tengas que ir a su despacho intentes grabar disimuladamente.
Ahora mismo sin ninguna prueba es muy difícil hacer algo, porque es tu palabra contra la suya. Si consiguieras grabar algún tipo de acoso, yo iría directa a la policía.
Suerte,y mientras lo consigues puedes ir buscando otro trabajo porque trabajar así es una tortura.
Ánimo.