Creo que si hubieras llegado a tener un orgasmo te habrías dado cuenta jajaja no es algo que se pueda confundir o pasar por alto.
Si que es cierto que después del orgasmo queda mas sensible y puede resultar molesto tocarlo, pero en tu caso, por lo que dices, creo que mas bien el problemas es que quizá te centres demasiado solo en el clítoris, que seas demasiado insistentes o brusca, o no lubrique los dedos lo suficientes antes de tocar. Prueba otras maneras de hacerlo, otras maneras de tocarlo o de tocar por alrededor o en otras zonas.
No te preocupes, nadie nace sabiendo ;-)