Калифорнийские программисты работают над системой распознавания эмоций для Oculus Rift

Хао Ли, ассистент-профессор из университета Южной Калифорнии, опубликовал свою работу, привносящую дополнительную реалистичность в виртуальный мир. Он руководит разработкой системы ^[1], с помощью которой Oculus Rift, шлем виртуальной реальности, может в реальном времени считывать выражения лица пользователя ^[2].

С давних компьютерных времён основным средством передачи эмоций служили смайлики. Потом появились веб-камеры и видеочаты, в которых можно свободно видеть собеседника. Но что, если вам небходимо передавать выражения лиц в виртуальную реальность? Или распознавать эмоции, чтобы использовать эту информацию для отрисовки игровых аватаров?

Конечно, системы распознавания лиц по видео существуют ^[3]. Вот только, задача эта многократно усложняется при использовании очков виртуальной реальности – таких, как Oculus Rift. Массивный агрегат закрывает 2/3 лица – в лучшем случае, камера увидит рот пользователя. Что же делать?

Ответ нашёл Хао Ли — программист, исследователь и фотомодель ^[4], родившийся в Германии, и имеющий тайваньские корни. С командой единомышленников и под чутким патронажем соцсети Facebook (купившей проект Oculus в 2014 году) они разработали систему распознавания выражений лица для пользователей Oculus Rift.

Нижнюю часть лица распознаёт камера. В прототипе используется камера Intel RealSense 3D, прикреплённая на массивном держателе к очкам. Возможно, в конечном устройстве можно будет устроить миниатюрную камеру в нижней части очков. Работу мимических мышц верхней части лица распознают восемь тензодатчиков (датчиков растяжения), встроенных по периметру в мягкий уплотнитель очков. Судя по видеоролику, система работает достаточно точно.

Имея такую систему, можно передавать эмоции на свой аватар в виртуальных чатах и играх, или учитывать выражения лица, например, при разговоре с NPC. Система дополняет виртуальную реальность новыми реалистичными подробностями.

Конечно, в прототипе есть минусы. Кроме упомянутого неудобного крепления камеры (что решаемо), пока есть необходимость первоначальной «калибровки» под конкретного пользователя – вам придётся скорчить несколько рожиц, чтобы система соотнесла реальные данные конкретного лица со своими шаблонами. Но и этот этап разработчики надеются устранить в будущем, когда наберут приличную базу «гримас» от различных людей.

Ещё одна особенность – системные требования. Сам Oculus Rift требователен к железу ^[5], и эта система, конечно, тоже. Для нормального функционирования со скоростью 30 FPS понадобится Core i7-4820K, 32GB RAM и GTX 980.

Система, скорее всего, не появится вместе с первыми экземплярами очков, которые, после долгой разработки, поступят в продажу в начале следующего года ^[6].

Автор: SLY_G

Источник ^[7]