Yo veo dos cosas:
1.- Tú no quieres quedar con él, no hay feeling, no te gusta. Y no pasa nada! No quedes con él porque se nota. No te compliques la vida porque además sois vecinos. Deja de contestarle poco a poco, pon la excusa del trabajo y todo se enfriará. Cuando una quiere quedar con alguien y hay interés, se nota. Llevas poco tiempo soltera, no te apures.
2.- El tío parece que quedar para desayunar como que no, podría ser que le cambiasen el turno 2 veces en 6 días, pero a priori parece una excusa que además siempre redirige a quedar por la noche, después de tu trabajo o cuando vienes de estar con tus amigas. Desde fuera parece que tiene claro lo que quiere y no es un café.
Lo segundo es llamativo, pero lo primero es lo importante. No te fuerces si no te apetece.