Российские ученые нашли способ снизить расход ресурсов для ИИ
Исследователи из России теоретически обосновали простой метод оценки неопределенности для стохастического градиентного спуска — популярного алгоритма классического машинного обучения. Это открытие позволит сократить затраты ресурсов на работу таких систем, сообщила пресс-служба НИУ ВШЭ.
Математическое доказательство показывает, что разработчики смогут быстрее и с меньшими вычислительными затратами получать надежные оценки неопределенности. Это особенно важно в медицине, финансах и автономных системах, где критично знать степень уверенности в предсказании.
Различные формы градиентного спуска широко применяются для оптимизации и создания классических систем машинного обучения без нейросетей. Из-за элементов случайности важной характеристикой является доверительный интервал — диапазон, где с высокой вероятностью находится истинное решение.
Традиционные способы построения таких интервалов требуют сложных статистических оценок, что дорого по времени и ресурсам. Российские и зарубежные ученые выяснили, что задачу можно решить простыми математическими подходами без повторного обучения модели.
«Подобные методы уже применялись на практике и часто показывали лучшие результаты. Мы хотели понять причину этого преимущества и дали строгую математическую интерпретацию», — пояснила младший научный сотрудник Института искусственного интеллекта НИУ ВШЭ Марина Шешукова.
Полученное доказательство и выявленные рамки применимости помогут улучшить работу многих систем машинного обучения, использующих стохастический градиентный спуск, что упростит и удешевит решение оптимизационных задач.
