También me pasa. Prueba a lavarlas enseguida después de quitartelas en la ducha. Yo uso una pastilla de jabon puro de eroski, lo tengo en el cajon del lavabo y bajo el grifo les doy un agua, al salir de la ducha las tiendo.
Suele pasar por dejarlas mucho tiempo en el cubo con el flujo reseco.