Yo haría mi vida. Si quieres tener hijos adelante, que no te frene esta situación. Ya se adaptarán y tendrán que ver al padre de sus nietos, y si no, pues nada, que se queden marginados del mundo, tu ya tendrás tu propia familia.
De todas formas, intentaría poco a poco incluir a tu pareja en planes en los que estén solo tus hermanos, igual si vas por ahí te resulta más fácil. Por ejemplo, algún plan de deporte que hagáis juntos, alguna excursión al monte, o esquiar, o jugar al padel etc. Es super fácil incluir a gente en ese tipo de planes, y que no quede raro.