Ученые создали метод обучения голосового ИИ новым языкам при дефиците данных
Специалисты ИТМО и MWS AI, которая входит в МТС Web Services, создали подход SEAM для адаптации синтеза речи к незнакомым языкам. Работой занималась лаборатория, изучающая эффективные методы ИИ и инфраструктуру данных для сред с малым объемом ресурсов. Об этом сообщили 26 октября. Об этом пишет портал Компьютерра.
Нейросеть не осваивает звуковые элементы нового языка с нуля. Она собирает их из уже известных компонентов, соблюдая правильный фонетический порядок. В опытах качество синтеза сохранилось, а объем обучающих данных уменьшили почти в четыре раза.
Обычно модель дообучают на парах текст — аудиозапись. При малом числе примеров системе труднее понять, как должны звучать и сочетаться новые элементы. Проблема заметнее для языков, у которых нет больших наборов размеченной речи: записи специалистов должны дублироваться точными текстовыми расшифровками.
Проверку провели на русском, казахском и французском языках, а также на двух архитектурах синтеза. SEAM хватило 25 часов аудио, чтобы достичь качества, для которого стандартному подходу требовалось 100 часов. Подход будет полезен разработчикам голосовых помощников, сервисов озвучки и автоматизации клиентской поддержки. Особенно он важен при выходе на новые рынки и адаптации продуктов к местным языкам.
Статью о SEAM приняли на EMNLP 2026, которая проходит с 24 по 29 октября в Венгрии. Руководитель Института ИИ ИТМО Александр Бухановский, доктор технических наук, отметил: учить ИИ языку не обязательно с нуля, поскольку нейросети обобщают знания о природе языка и переносят их, хотя возможен риск «новояза» из-за изменения произношения. Руководитель департамента фундаментальных исследований MWS AI Стаматис Лефкимиатис, участвовавший в работе над SEAM, в октябре вошел в международную базу Top 2% Scientists. В категории «Искусственный интеллект и обработка изображений» он оказался примерно в топ-1% по показателю без самоцитирований.
