Американские исследователи научили единый имплантат в мозге передавать на компьютер не только речь, но и жесты человека с параличом. Результаты работы появились в Nature Neuroscience. Об этом рассказывает N + 1.
Устройство разместили над сенсомоторной корой. Оттуда сигналы поступают в вычислительную систему, а та показывает на экране анимированного аватара пациента в полный рост.
После обширного инсульта люди иногда лишаются возможности разговаривать и двигать конечностями. Для них медики создают нейроинтерфейсы, которые считывают активность нейронов и превращают ее в слова. Несколько лет назад такой имплантат уже установили парализованному мужчине: он улавливал сигналы в моторных зонах, связанных с речью, а компьютер выдавал короткие фразы.
Теперь группа врачей из США под руководством Эдварда Чанга (Edward F. Chang) из Калифорнийского университета в Сан-Франциско расширила задачи. Имплантат над сенсомоторной корой стал фиксировать сигналы, которые относятся к разным движениям — рук, а также рта и лица, задействованных в речи. В пример ученые приводят пожатие плечами и кивки.
Для двух участников эксперимента сделали цифровой анимированный аватар в полный рост. Добровольцев просили показывать заданные жесты, отвечать на реплики в диалоге или делать это одновременно. Во время сессии активность мозга направляли в речевую модель и модель жестов. Обучение моделей шло на архитектуре сверточной рекуррентной нейронной сети.
Распознанную речь выводили текстом внизу экрана, а предсказанный жест показывал аватар. Обе модели умеют определять состояние покоя, когда человек не пытается говорить или жестикулировать. Благодаря этому система работает и при одной речи, и при отдельных жестах, и при их совмещении.
Точность тоже выросла. У одного участника она составила 85 процентов для жестов и 75 процентов для речи. У второго — 100 процентов и для речи, и для жестов. В прошлой работе показатель равнялся 74,4 процента. Перед клиническим внедрением технологии нужны более крупные испытания. Ученые также намерены расширить набор распознаваемых слов и жестов.
Парализованным людям пытаются вернуть не только возможность говорить, но и ходьбу. Ранее сообщалось о нейроинтерфейсе между спинным и головным мозгом: он помог пациенту с травмой спинного мозга улучшить ходьбу.