Специалисты Центра практического искусственного интеллекта Сбера совместно с учеными из Института AIRI и Сколковского института науки и технологий разработали метод обработки больших объемов данных, который повышает эффективность нейронных сетей, сохраняет качество информации и снижает потребление вычислительных ресурсов. Результаты исследования были представлены на международной конференции EACL 2026, проходившей в Марокко.
При работе с длинными диалогами и объемными документами модели искусственного интеллекта сталкиваются с проблемой потери информации, известной как "Lost in the Middle". Это явление возникает, когда нейросеть пытается учесть всю историю общения и при достижении определенного объема данных начинает терять информацию из середины диалога. Кроме того, обработка миллионов символов требует значительного объема видеопамяти, что ограничивает возможности моделей.
Для решения этих проблем применяется метод сжатия информации с переводом данных в векторное представление. Однако чрезмерное сжатие может привести к искажению данных, известному как переполнение токенов (token overflow).
Российские ученые предложили инновационный подход, основанный на использовании легкого обучаемого классификатора, который действует как детектор качества сжатых данных. Этот алгоритм проверяет информацию перед передачей в языковую модель и блокирует искаженные данные. Система может использовать оригинальный текст или актуальные документы, предотвращая использование некорректной информации для генерации ответов. Это повышает достоверность ответов и оптимизирует вычислительные ресурсы.
Новый метод был успешно интегрирован в обновление флагманской модели Сбера GigaChat Ultra. ИИ-помощник теперь способен запоминать ключевые факты о пользователях, что делает взаимодействие более персонализированным.
Данная разработка открывает перед бизнесом перспективы снижения затрат на внедрение искусственного интеллекта в корпоративные поисковые системы, ассистентов и ботов поддержки. Для научного сообщества она представляет методологию для определения границы сжимаемости текста и мониторинга момента переполнения токенов.
Директор Центра практического искусственного интеллекта Сбера Николай Тиден провел аналогию между работой механизма сжатия контекста в языковых моделях и задачей пересказа трехчасового совещания парой фраз. Он подчеркнул, что при этом легко упустить важные детали или исказить смысл. По словам Тидена, новое решение функционирует как защитный механизм, автоматически определяющий предел сжатия, за которым данные искажаются, что снижает устойчивость модели. Для бизнеса это означает повышение надежности искусственного интеллекта, снижение издержек и улучшение точности принимаемых решений.