Yo no se lo haria a no ser que él mismo me lo pidiera. A mí tampoco me gustan las fiestas,y menos los cumpleaños de ahora que parece que quedas mal si no invitas a toda la clase del niño (con sus correspondientes padres).
Si él es feliz celebrándolo solo con vosotros, yo continuaría así, el día que te lo pida, pues que invite a quien él quiera y si tú no quieres organizarlo y puedes permitirtelo, hazlo en algún local de estos que organizan cumpleaños.