- PVSM.RU - https://www.pvsm.ru -

Сигналы мозга преобразованы непосредственно в устную речь

Сигналы мозга преобразованы непосредственно в устную речь

Исследования показывают, что, когда люди говорят или даже думают, что говорят, в их мозгу [1] появляются характерные паттерны активности. Четкая схема сигналов также возникает, когда мы слушаем, как кто-то говорит, или воображаем, что слушаем. Специалисты довольно давно думали, что эти паттерны можно расшифровать и превратить в нечто понятное для окружающих.

Ранние попытки расшифровать сигналы мозга [1] были построены на основе простых компьютерных моделей, которые анализировали спектры звуков. Этот подход не дал внятных результатов.

Авторы исследования попытались использовать вокодер — компьютерный алгоритм, который может синтезировать речь после обучения по записи разговоров людей. Это та же технология, которая используется Amazon Echo и Apple Siri для формирования устного ответа на наши вопросы.

Чтобы научить вокодер интерпретировать мозговую деятельность ученые попросили пациентов, страдающих эпилепсией, и уже перенесших операцию на головном мозге [1], выслушать фразы разных людей. Их мозговая активность в это время замерялась. Эти нейронные паттерны использовались как обучающая информация для вокодера.

Затем исследователи попросили тех же пациентов прослушать цифры от 0 до 9, звучащие через динамик. Сигналы мозга [1] в этот момент фиксировались и далее использовались для «обучения» вокодера. Звук, производимый вокодером в ответ на эти сигналы, анализировался и очищался с помощью нейронных сетей.

Конечным результатом был роботизированный голос, повторяющий последовательность чисел. Чтобы проверить точность записи, ученые поручили людям прослушать запись и сообщить, что они услышали.

«Мы обнаружили, что люди могут понимать и повторять звуки примерно в 75% случаев, что значительно превосходит любые предыдущие попытки», — говорит доктор Нима Месгарани (Nima Mesgarani), один из авторов работы. Лучшая понятность была особенно очевидной при сравнении новых записей с результатами ранних опытов, основанных на спектрограмме.

Авторы полагают, что их разработка может уже в близком будущем быть использована для создания практически применимых средств коммуникации.

Источник [2]

Источник [3]


Сайт-источник PVSM.RU: https://www.pvsm.ru

Путь до страницы источника: https://www.pvsm.ru/e-to-interesno/306978

Ссылки в тексте:

[1] мозгу: http://www.braintools.ru

[2] Источник: https://www.popmech.ru/science/news-460752-signaly-mozga-preobrazovany-neposredstvenno-v-ustnuyu-rech/

[3] Источник: http://supreme2.ru/%d1%81%d0%b8%d0%b3%d0%bd%d0%b0%d0%bb%d1%8b-%d0%bc%d0%be%d0%b7%d0%b3%d0%b0-%d0%bf%d1%80%d0%b5%d0%be%d0%b1%d1%80%d0%b0%d0%b7%d0%be%d0%b2%d0%b0%d0%bd%d1%8b-%d0%bd%d0%b5%d0%bf%d0%be%d1%81%d1%80%d0%b5/