Cambia de psicólogo. Precisamente el huir de los problemas es un rasgo de la ansiedad y la ansiedad sí puede venir por una causa concreta, no como dicen en otro comentario. Eso de la inmadurez y más cuando le estás diciendo que huyes porque te dan ataques de pánico, me parece absurdo. Y no eres inmadura por querer ir a otro psicólogo, tienes un problema con este y estás buscando solución.
En cualquier caso está claro que no confías en su criterio, busca otro profesional.