Как реакции мозга превратить в речь? Ученые нашли способ

Из предыдущих исследований известно, что во время речи (и даже когда мы ее просто воображаем), мы получаем различные шаблоны в нейронных сетях мозга. Новая система декодирует в речь реакции мозга, а не фактические мысли. Но в дальнейшем она сможет делать и это.

«Наши голоса помогают нам быть вместе с друзьями, семьей и миром, поэтому потеря силы голоса из-за травмы или болезни настолько фатальна для человека. С сегодняшним исследованием у нас есть потенциальный способ восстановить эту силу. Мы показали, что при правильной технологии мысли этих людей могут быть расшифрованы и поняты любым слушателем», – рассказывает Нима Месгарани из Колумбийского университета в Нью-Йорке.

Используемый алгоритм называется вокодер. Это тот же тип алгоритма, который синтезирует речь после обучения на записях человеческого голоса. Когда вы получаете ответ от Siri или Amazon Alexa, это тоже расширенный тип вокодера. Другими словами, Amazon или Apple не нужно программировать каждое слово на свои устройства – они используют вокодер для создания реалистичного звучания голоса на основе любого текста, который нужно сказать.

В новой технологии вокодер обучался не человеческой речи, а нервной деятельности в слуховой части коры головного мозга. Ее измеряли у пациентов, перенесших операцию на мозге, когда они слушали предложения, произносимые вслух.

В первом эксперименте такого рода ученые смогли перевести сигналы мозга в понятные слова. Сначала это может показаться дикой научной фантастикой, но новая технология действительно может помочь некоторым людям с речевыми проблемами.

В дальнейшем технологию можно было бы использовать для управления гаджетами силой мысли. Она также поможет получить голос людям, у которых его нет, – имеют ли они синдром блокировки, восстанавливаются после инсульта или (как в случае со Стивеном Хокингом) страдают боковым амиотрофическим склерозом.

Впрочем, это займет много времени, поскольку мозг каждого человека работает немного иначе и для точной интерпретации мыслей потребуется большое количество тренировочных данных.

Читать еще: Рано выбрасывать спиннеры: ученые нашли игрушке неожиданное применение

Источник: Sciencealert