Yo el curso pasado estaba en tu situación, trabajaba pocas horas y me daba pena dejar a mi hija en el comedor, solo la dejaba 1dia que no podía recogerla, y con el tiempo la empecé a dejar más días porque a la larga, comía mejor allí que en mi casa, menú variado y equilibrado, y los monitores un encanto. En mi caso los niños de infantil comen antes que los de primaria, asique no coinciden mucho con los grandes. El cole tiene cocina y cocinera y a mí, me sale incluso más rentable que coman en el cole que en casa, tal y como están los precios de todo.
Como ya te han dicho, si ves algo raro con los monitores, puedes poner una reclamación, es intolerable ese tipo de comportamiento.
Puedes probar un tiempo a solo dejarlo algún día en el comedor a ver qué tal va, y con el tiempo incrementar los días. Creo que es más nuestro propio sentimiento de culpa que nos hace creer que los niños estarán mal si los dejamos allí, que como lo perciben ellos mismos.
Este año hay un día que no trabajo y mi propia hija me dijo que la dejase en el comedor porque allí están sus amigos, además la monitora es un encanto. Prueba días sueltos a ver cómo se desenvuelve tu hijo y que se vaya adaptando poco a poco.