Разработан вокодер, который впервые напрямую перевел движения рта в речь

Ученые института INSERM и Национального центра научных исследований в Гренобле (Франция) разработали вокодер (синтезатор речи), который впервые напрямую перевел движения рта в речь без использования гортани.

В устройстве применили девять датчиков, которые отслеживали движения губ, языка, нижней челюсти и мягкого неба. Нейронная сеть научилась переводить данные с этих датчиков в гласные и согласные буквы, которые озвучиваются вокодером. Речь звучит монотонно, но слова различимы.

Это первый шаг к построению мозговых интерфейсов, которые позволят парализованным людям разговаривать с помощью контролирования своих мыслей. Чтобы заставить такое устройство работать для людей, у которых не функционирует речевой тракт, ученым необходимо научиться декодировать сигналы от мозга.