Pues es verdad que no debería haberte llamado para ligar. No contestas/bloqueas y a ver qué pasa. Si después te acosa o insiste pones denuncia.
La llamada equivocada y el audio parecía un tanteo, buscar una excusa para volver a hablar contigo, pero en principio con no contestar/bloquear debería ser suficiente.
Está bien que lo has hablado con alguien y que tengas el audio. Si insiste con otros números o te acosa, denuncialo. Probablemente se quede en nada, y el chico pensó que te había gustado y actuó inconscientemente, pero entiendo que te diese mal rollo porque es alguien que sabe dónde vives.