Yo creo que simplemente es un trabajo que tiene connotaciones malas o que lo asocias más con chicos. Seguramente hay gente menos adecuada, haciendo tareas de responsable, y tu te rallas sin razón.
Si no te gusta nada nada, pues no sé, igual hay algún puesto que te guste más. Conozco un caso similar y con él tiempo ha ido perdiendo el miedo y aceptándose.