A mí tampoco me sentaría bien y menos por un comentario sin importancia. No sólo es pedir perdón, sino dar una explicación razonable y que te garantice que no volverá a suceder. Que no haya hecho nada durante 4 años no me parece una justificación, pero si ha sido un día malo y pone medidas para que no vuelva a suceder le daría otra oportunidad.
No llegarás a nada en claro si no tienes una conversación larga con él. De todos modos, puedes darle una oportunidad y cortar si no te convence, o tomarte un tiempo para pensar y poner en perspectiva la relación.