Американские исследователи разработали нейроинтерфейс, помогающий парализованным людям общаться. Устройство считывает сигналы мозга и преобразует их в речь и жесты. Результаты работы опубликованы в Nature Neuroscience. Об этом сообщает издание N + 1.
После обширного инсульта человек может утратить способность говорить и двигать конечностями. Ранее нейроустройства для таких пациентов распознавали активность моторных зон, связанных с речью, и превращали её в короткие фразы.
Теперь специалисты расширили взаимодействие имплантата с компьютером: в основе системы — один имплантат, размещённый над сенсомоторной корой. Его данные поступают в компьютер, а тот управляет анимированным аватаром пациента в полный рост. Проектом руководил Эдвард Чанг, представляющий Калифорнийский университет в Сан-Франциско. Имплантат улавливает сигналы, относящиеся к движениям верхних конечностей, рта и лица.
Для двух участников создали цифровой аватар. Их просили показать жесты, ответить на реплики в диалоге либо выполнить оба действия сразу. Во время сессии мозговая активность направлялась в речевую и жестовую модели, которые обучили с помощью сверточной рекуррентной нейронной сети. Распознанная речь появлялась внизу экрана текстом, а жест воспроизводил аватар; обе модели различают состояние покоя.
У первого добровольца жесты распознавались в 85 процентах случаев, речь — в 75 процентах. У второго точность достигла 100 процентов в обоих случаях; в прежней работе показатель равнялся 74,4 процента. До клинического применения нужны более крупные испытания, а учёные намерены расширить набор распознаваемых слов и жестов. Медики пытаются вернуть парализованным людям и способность ходить: нейроинтерфейс, соединяющий спинной и головной мозг, ранее позволил пациенту с травмой спинного мозга улучшить походку.