Me parece una falta de respeto enorme que no te haya dicho que no la estaba llevando al colegio. Entiendo su miedo porque soy profesora y vamos a trabajar con cierto miedo, pero no se puede decidir algo así unilateralmente y que te encuentres la sorpresa de casualidad.
Ya que la enseñanza no es obligatoria hasta los 6 años, mira a ver si puedes llegar a un acuerdo para que vaya unos días y otros no (los que esté con él) antes de meterte en abogados.
Ahora bien, mi opinión de profesora es que la lleves. La etapa de infantil es muy importante a nivel sociabilidad, psicomotricidad, etc por mucho que te digan aquí las entendidas en el desarrollo del cerebro y la personalidad del niño que solo saben colorear. He sido profesora en USA, donde entran en Kinder en 5 años o directamente en 1º de primaria, sin haber pasado antes por otras etapas no obligatorias. Con 5-6 años no controlaban esfínteres, no comían bien solos con cuchara y ni sostenían el lápiz (eso sí, el dedito para el iPad siempre preparado)