Quizás a él le trataron igual.
El problema es que tu hijo está normalizando la violencia porque luego no hay una disculpa, ni un razonamiento y nos ponemos a jugar como si nada. ESO SÍ ES UN PROBLEMA.
Yo buscaría ayuda externa que le explique a tu marido cómo educar sin violencia.
Como quizás para él lo estará haciendo todo bien, pon la excusa de buscar soluciones para tu hijo y su impulsividad (ponle el nombre que quieras).
Para ya eso que después cuando dos sea adolescente y tu hijo sea más alto que su padre puede ser una batalla campal.