Yo no contestaría nada. No hay mayor desprecio que no hacer aprecio. Que se quede dándole vueltas, esperando una respuesta que no llegará. Si en algún momento te contacta para confirmar tu asistencia, puedes decirle que recibiste la invitación pero la ignoraste pensando que fue un error. O simplemente responder que no vas a ir y darle la enhorabuena. Lo que te haga sentir mejor.