Un régimen de visitas ordinario como mínimo incluye que los hijos pasen un fin de semana de cada dos y al menos una tarde a la semana con el padre. Es decir, no es viable que pudieseis quedar todos los fines de semana. Además, el régimen de visitas ordinario incluye que las vacaciones escolares se repartan a la mitad, por lo que al menos una quincena de julio y otra de agosto (o todo un mes seguido) los niños estarían con el padre.
Si durante este tiempo habéis quedado con normalidad, se me ocurre que o tiene un régimen de visitas muy restringido (malo) o no cumple con el régimen de visitas (peor) o no está separado y eres la otra (pa matarlo).
Yo no le daría ni media oportunidad.