Me da la impresión de que no os estáis comunicando bien.
Por una parte, creo que tu novio quiere pasar esos días con su familia sin su pareja y me parece lícito, todos tenemos derecho a tener nuestro espacio al margen de la pareja. Sinceramente, cuando va el novio o la novia las dinámicas familiares cambian.
Por tanto, creo que él no quería que fueras porque quería pasar esos días solo con ellos pero no ha sido capaz de decírtelo y te ha dado medio largas, diciéndote que vayas si quieres para que no te enfadaras pero no moviendo un dedo para que se te hiciera hueco en el viaje.