Si de normal estás con él y no ves a menudo a tu familia, me parece lógico que quieras pasar tiempo con ellos y aprovechar que tienes unos días más para quedarte allí. Es cuestión de prioridades.
Aunque también entiendo su postura…los dos de «vacaciones» y no te planteas hacer nada con él, aunque no os lo esperarais es fácil improvisar.
Quizá puedas buscar un punto medio, quedarte unos días más con tu familia y otros días irte con él y hacer algo, aunque sea disfrutar del tiempo libre en la ciudad que vivís, hacer alguna escapada de un par de días o alguna excursión de un día. Y cuando él vuelva a trabajar, si tú sigues sin tener que ir, puedes volver unos cuantos días con tu familia otra vez.