Hola! Yo creo que lo más importante es que comentes esas dudas y miedos con él. Así, él también será consciente de cual es tu situación y podréis hacer camino juntos.
Personalmente, te recomendaría que lo hicieras, si sale mal, como tu curro es a distancia, siempre puedes volver. Eso sí, con mucha comunicación por parte de ambos. Espero haberte ayudado algo!