En primer lugar, me parece maravilloso que sigas teniendo buena relación con el padre del peque. Es una forma civilizada de terminar una relación y sin duda lo mejor que le podría pasar al niño. Enhorabuena, seguro que sois unos padres geniales.
En segundo lugar, castigar con el silencio nunca nunca jamás es una opción. Me parece algo horrible y no creo que sea la última vez que te lo haga. Si crees que la relación merece mucho la pena, dile lo que sientes, que ya no hay nada con tu ex y pídele que no lo vuelva a hacer. El bienestar de tu hijo siempre debe estar por encima de todo y si eso implica que su padre siga en tu vida o lo entiende o que coja la puerta de inmediato. Lo siento pero esos silencios son una bandera muy muy roja