Invitarlo no debería ser un problema, pero no lo hagas como una sorpresa. Hay muchas personas que eso de quedar sin trabajo les afecta fuertemente el ego, y si además de invitarlo tomas la decisión de las vacaciones sin incluirle en la misma, podría sentarle fatal (muy «es mi dinero, hago con él lo que quiero, y como no tienes trabajo también puedo disponer de tu tiempo»).
Yo lo conversaría tranquilamente y muy desde ti: que en verdad necesitas vacaciones, que te hace mucha ilusión compartirlas con él, que te haría muy feliz poder invitarle, qué se yo. Algo así.