Precisamente tocar sin consentimiento sí es abuso. Así que si «no te puedes controlar», mejor evita estar a solas con ella. No la presiones para que diga que sí.
Si de verdad esto es un problema insalvable para ti, pregúntate si tiene sentido seguir con la relación.