Нейросеть обучили по аудиозаписям языковой среды младенцев

Американские исследователи обучили языковую модель на записях, где запечатлена речь, звучавшая рядом с детьми в течение первой тысячи дней их жизни. Результаты работы опубликовал журнал Science. Об этом сообщает издание N + 1.

Эксперимент провела группа под руководством Ури Хассона из Принстонского университета. Для восьми детей построили отдельные модели, не наделяя их никакими врождёнными знаниями о языке. Каждая сеть училась только на том материале, который слышал её конкретный ребёнок.

В основе архитектуры — связка кодировщика и декодировщика. Первый дробил непрерывный поток речи на отрезки по 20 миллисекунд. Второй искал закономерности и предсказывал следующие элементы, опираясь на уже прозвучавшее.

Записи подавались день за днём в той же последовательности, что и в жизни ребёнка. Чем дольше малыш бодрствовал, тем больше данных получала модель. Вечером сеть возвращалась к материалу за сутки — так исследователи воспроизводили консолидацию памяти во сне.

Примерно за один смоделированный год нейросеть научилась различать звуки английской речи, а затем набрала словарь в несколько тысяч слов. Скорость его пополнения почти совпала с кривыми реальных детей.

Решающими оказались плотность поступающей информации и повторение. Модели, получавшие лишь часть записей, запоминали заметно меньше слов. Тем, кто не мог переслушать дневной материал, усвоение тоже давалось тяжело, даже при большом объёме данных.

Дальше авторы собираются добавить к аудио жесты и мимику — чтобы обучение стало ближе к повседневной жизни.