Al, está más que demostrado que los idiomas es mejor aprenderlos de niños, no sólo por la facilidad sino por la pronunciación, ya que aprender a pronunciar bien ciertos fonemas cuando la glotis y supraglotis están formadas del todo es más difícil e incluso imposible.
Por otra parte, la natación es un deporte, diría yo.
A la autora: la situación mejorará, lo importante es que tus peques se han adaptado bien y tu marido os tiene de apoyo. Ánimo.