Hola yo pienso que tienes razón y que no estás exagerando, esta muy fuera de lugar y voila tu protección de datos, quizá puedas pedir una asesoría legal para consultar con un abogado lo que puedes hacer al respecto, pero no se si te compensará todo el follón administrativo, quizá con esperar un poco a ver si el tío ha pillado la indirecta o te deja en paz se solucionan tus dudas, otra cosa que se me ocurre es que pongas una queja a la empresa de reparto para que sean ellos los que le den un toque. Pero si te ha dado mal rollo es por algo, fijate de tu intuición, no dejes que nadie te diga lo contrario.
Espero que se quede solo en una pequeña preocupación y no tengas que tomar medidas más serias.
Un abrazo y mucha fuerza