Pues tienes razón
Tu pareja y tú os merecéis esas vacaciones, sobre todo cuando las previas se las has dedicado a tu familia.
Cómo se lo comuniques a tu familia ya es cosa tuya (efectivamente es ponerles límites, que no es fácil, pero no te queda otra).