Российские ученые создали алгоритм обучения ИИ на гибридных чипах
Московские исследователи представили метод быстрого обучения гибридных нейросетей. Такие сети работают на альтернативных вычислителях, включая фотонные, нейроморфные и аналоговые системы. О разработке рассказала пресс-служба Института искусственного интеллекта AIRI. Об этом пишет портал ТАСС.
По словам научного руководителя Центра квантовых технологий Сбербанка Станислава Страупе, алгоритм дает возможность задействовать порой экзотические устройства бок о бок с цифровой электроникой. Модели ИИ при этом обучаются без потери качества.
Сегодня фотонные и нейроморфные чипы берут на себя лишь отдельные операции или небольшие задачи. Полностью переложить на них работу и обучение нейросетей пока нельзя. Зато они подходят на роль компонента гибридной системы: основные операции выполняют классические микрочипы, а самые частые вычисления — специализированный сопроцессор.
Сотрудники AIRI, Центра квантовых технологий Сбербанка и Сколтеха создали алгоритм, который обучает такие сети даже тогда, когда заглянуть внутрь сопроцессора и применить его внутренние градиенты невозможно. Проверка прошла на шести цифровых моделях фотонных слоев и схем, а также на трех классах задач.
Расчеты показали: точные данные о процессах внутри каждого компонента для обучения не нужны. Достаточно следить за реакцией устройства на случайные изменения и использовать приближенную модель работы сопроцессора. Тогда результат близок к полностью цифровым базовым моделям.
Старший научный сотрудник AIRI Андрей Чертков отметил, что в перспективе подобные системы пригодятся в крупных дата-центрах для обучения больших моделей, а также в устройствах, где важны скорость и энергопотребление. Наиболее реалистичный сценарий: тяжелую математику берет на себя физический ускоритель, остальное — цифровая часть.
Нынешние центральные и графические процессоры из-за архитектурных особенностей справляются с обучением нейросетей недостаточно эффективно. Поэтому ученые ищут альтернативы: фотонные и нейроморфные чипы превосходят классическую электронику на порядки по эффективности работы с нейросетями.
