Новая система позволяет переводить язык жестов в текст

Исследователи из Texas A&M University работают над созданием ^[1] миниатюрной системы, которая преобразует язык жестов в текст. Идея проекта несколько отличается от того, чем занимаются крупные компании вроде Google. Вместо того, чтобы разрабатывать Babelfish-подобное ПО, которое переводит речь с одного языка на другой, новый девайс позволяет превращать мускульные сокращения в слова.

Система включает сенсоры для отслеживания движения предплечья, плеча и запястья. Также разработчики разместили здесь EMG-датчик (электромиография), распознающий сигналы, которые генерируются мускулами запястья. Собранная информация затем декодируется и передается по беспроводной связи на телефон или ПК.

«Мы декодируем активность мышц, собирая генерируемые ими сигналы на запястье. Некоторые сигналы генерируются непроизвольными, случайными сокращениями, в то время другие возникают благодаря осмысленным жестам — например, в результате общения глухонемого человека при помощи языка жестов», — комментирует разработку профессор Роозбех Джафари, представитель команды разработчиков.

Целью проекта является создание миниатюрного устройства (идеал — наручные часы) и соответствующего программного обеспечения, которое позволяет преобразовывать сигналы мышц в целые предложения, а не только отдельные слова. На последнее уже способен прототип, который создан командой исследователей.

Такие умные часы должны быть достаточно мощными, для проведения необходимых вычислений. Кроме того, в устройстве должен быть динамик, через который собеседник слабослышащего или глухонемого человека смог бы слышать «перевод» языка жестов компьютером. Это может быть несколько более медленным способом общения, чем обычная речь, но уж точнее более удобным, чем общение посредством существующих инструментов.

«Когда вы надеваете систему впервые, она работает с определенным уровнем точности. Но когда вы работаете с системой более плотно, она обучается, распознает особенности организма владельца, и становится более точной», — говорит профессор.

Недавно компания Thalmic Labs, разработчик браслета Myo ^[2], создала систему, позволившую мужчине контролировать свой протез руки при помощи мысли. Передача данных в такой системе велась при помощи Bluetooth.

Автор: Medgadgets

Источник ^[3]