Учёные создали мозговой имплант, который одновременно распознаёт слова и жесты у людей с параличом
Учёные разработали мозговой имплант, способный одновременно распознавать попытки человека говорить и использовать жесты. Система преобразует сигналы мозга в текст и движения цифрового аватара практически сразу после возникновения намерения.
Разработка предназначена прежде всего для людей с тяжёлым параличом, потерявших возможность нормально говорить и двигаться. Результаты исследования опубликованы 14 сентября в Nature Neuroscience.
Один мозговой имплант распознаёт речь и жесты
Как сообщает Nature, это первая система, которая способна одновременно переводить вербальные и невербальные намерения человека в цифровую форму.
Имплант содержит массив из 253 электродов, размещённых на поверхности коры головного мозга. Он охватывает достаточно большую область сенсомоторной коры, чтобы фиксировать активность, связанную как с речью, так и с движениями тела.
Система превращает сигналы мозга в текст и движения аватара
В исследовании участвовали два человека с серьёзными нарушениями речи и движений. Один перенёс инсульт ствола мозга, второй страдал боковым амиотрофическим склерозом (БАС).
- система распознавала намерение произнести заданные фразы;
- фиксировала попытки или представление жестов;
- различала кивки, движения рук, пожимание плечами и другие действия;
- могла одновременно обрабатывать речь и сопровождающий её жест.
Искусственный интеллект анализировал электрическую активность мозга, после чего слова появлялись на экране, а распознанные движения воспроизводил персонализированный цифровой аватар.
Технология пока остаётся экспериментальной
Исследование в Nature Neuroscience пока является демонстрацией концепции, а не готовым медицинским устройством. Для установки системы требуется хирургическое вмешательство, а алгоритмы необходимо адаптировать к конкретному человеку.
Однако разработка показывает возможность создания единого нейроинтерфейса, который возвращает не только слова, но и часть невербального общения. В перспективе подобные системы могут сделать коммуникацию людей с тяжёлым параличом значительно более естественной.
