No me pareces egoísta en absoluto. Es normal que tengas necesidades y se lo hagas saber. No le estás diciendo que deje de cuidarla, solo pides «unos días», algo de tiempo para vosotros. Los cuidadores también deben cuidarse a si mismos y a sus familias. Te diría que intentes hacerle entender cómo te sientes, y le ofrezcas opciones (residencias o centros de respiro, buscar otro cuidador, etc). Eso sí, si no accede y sigues sintiendo que te falta él, que estás sola cuando le necesitas, etc. no serás egoísta por dejarlo. Su madre es muy joven y puede que la situación dure muchísimos años, piensa qué vida quieres llevar y si él está dispuesto a encontrar momentos para dártela.
Ánimo, sólo quién ha vivido algo parecido sabe lo duro que es.