В Австралии пятого ноября сообщили о математической закономерности, объясняющей непредсказуемость обучения ИИ. Исследование провели в Сиднейском университете, о результате рассказала пресс-служба вуза. Эту информацию сообщает издание ТАСС.
Профессор Гун Пулинь отметил: прежде вариации поведения нейросетей связывали с внешними случайностями — порядком подачи данных, особенностями вычислительной техники. Теперь стало ясно, что корень проблемы глубже.
Обучение и переобучение современных систем ИИ дает непредсказуемые итоги. Это мешает воспроизводить модели, полученные раньше, и затрудняет доработку готовых нейросетей. Чтобы разобраться, ученые сравнили 500 тыс. простых сетей для распознавания изображений и текстов.
Даже при одинаковых внешних условиях результаты тренировки сильно расходились. Причина кроется в математической природе нейросетей: сдвиг всего одного бита в одной переменной при инициализации влияет на обучение так же серьезно, как любые внешние факторы.
На основе наблюдений исследователи вывели формулы. В них поведение сетей описывается через закономерности фракталов, самоповторяющихся математических структур. Формулы жестко связывают скорость обучения и предсказуемость работы, а это создает рамки для разработки.