Te recomendaría muy en serio que buscaras poner el asunto en manos de un abogado. Lo que hizo tu jefe en su momento es acoso laboral y, ai que ahora no trabajes ahí, igualmente se le podría acusar de injurias.
Me preocupa que la conducta de ese hombre llegue a más, ya que parece tener cierta obsesión contigo. Así que como te digo, ponte en manos de un profesional si te ves con fuerzas.