¿Es normal sentir ansiedad en el trabajo? Bastante. ¿Debería serlo? No.
A parte de apuntarte las cosas, intenta mandar correos de confirmación para que quede por escrito la idea, la hora y puedas demostrar que él lo leyó y no te dijo que no. Es muy incómodo tener que buscar formas de defenderte porque significa que trabajas en un lugar de trabajo amenazante, y de ahí la ansiedad más que justificada. Pero si quieres quedarte en ese puesto de trabajo, puede que sea una solución.
Yo tengo miedo de cambiar de trabajo porque tengo la sensación de que en todas partes me encontraré situaciones parecidas.