Yo en tu situación sería sincera. Habla con él, dile las inseguridades que te han surgido desde que lo sabes, que no quieres huir porque tienes sentimientos hacia él pero que no sabes gestionarlo. Quizás entre los dos puedan llegar a una solución, quizás sólo tienes miedo porque es una situación nueva para ti, quizás él consiga otro curro y no necesite volver al anterior… No lo sé, pero «descartar» a alguien por su trabajo no lo veo razonable.