En mi opinión deberias haber ido. A estas cosas no se va por conocer al muerto se va por conocer al familiar cercano al muerto y mostrar tu apoyo porque le aprecias.
La lectura de esto es que la cuñada y cuñado (al final es su suegro y por tanto afectado) te la pela. Si fallece tu madre/madre no esperarias a tus cuñados en el tanatorio?
No agrada ir, pero no cuesta mucho hacer acto de presencia un rato y más cuando es sábado y tu planes quedarse en casa.