Найден способ превращать сигналы мозга в речь: говорим без звуков

Слово, произнесенное вслух — мощное орудие, однако у нас не всегда есть возможность использовать речевой аппарат. В таком случае на помощь приходят технологии и машинные алгоритмы. Один из таких, к примеру, позволяет преобразовывать сигналы, которые мозг ^[1] посылает мышцам, в разборчивые звуки!

Преобразовать поток сложных сигналов, с помощью которых мозг ^[1] управляет системами организма, очень и очень непросто. К примеру, для внятной речи губы, язык, горло, челюсти, гортань и диафрагма должны работать синхронно и слаженно, а мозг ^[1] выступает в качестве их координатора. Исследователи из Калифорнийского университета в Сан-Франциско (UCSF) уже пытались создать устройство, преобразующее мозговые импульсы в речь, но отказались от своей затеи.

На сегодняшний день есть несколько способов все-таки осуществить эту задумку. Так, команда из Колумбийского университета, успешно использовала весьма оригинальный подход. Их метод реконструировал однослоговые слова, основанные непосредственно на восприятии мозгом ^[1] произнесенных звуков, извлеченных из слуховой коры человека. Синтетическая речь, созданная таким образом, могла быть понята примерно в 70% попыток — неплохой результат.

Однако на практике попытка сложить из этих слов полноценную речь лишь усложняет восприятие. Поэтому команда USCF предложила логическое развитие этого метода — перевод в речь непосредственно мышечных движений, а не просто одностадийных мозговых сигналов. Для этого пяти добровольцам были имплантированы электроды непосредственно на поверхность мозговой коры, и ряд датчиков был прикреплен к языку, зубам и губам, чтобы лучше отслеживать их движения.

Результаты оказались впечатляющими. В результате проговаривания отдельных слов, фраз и даже отрывков из литературных произведений получилась звуковая «карта», которую синтезатор речи мог без особых проблем перевести непосредственно в звук. Просто послушайте это сами:

Источник ^[2]

Источник ^[3]