Estoy de acuerdo en que si no te gusta su rollo de salir no tienes por qué ir, y que no eres egoísta por ello. Aunque por aportar algo diferente, quizás podrías proponerle una situación intermedia, de ir, salir un rato y cuando te canses irte para casa y que él se quede.
