- PVSM.RU - https://www.pvsm.ru -
Недавно наконец-то вернулся к работе после летних приключений и первым же, что мне скинул мой шеф, была ссылка, про которую сейчас и пойдет речь.
Так как на данный момент один из моих проектов — это распознавание жестов с помощью камеры Kinect, анализ их и выполнение действий на вот таком [1]роботе, то и ссылка, как вы можете догадаться, на схожую тему.
Итак, встречайте, Kinect 3D Hand Tracking [2] или, по нашему, «Слежение за 3D позицией руки при помощи Kinect».
До этого момента лично я видел подобное только вот здесь [3] и лично у меня демка по этой ссылке так стабильно и не заработала.
К тому же если отойти от сенсора больше чем на 2 метра, следить за пальцами у нее не выходило вообще (на самом деле мои пальцы кинект терял уже на расстоянии метра полтора, но может то у меня пальцы неправильные). Правда происходило все достаточно быстро даже на моем ноуте, без использования графического процессора. Да и код открыт, в виду того, что это демо проект, который теперь включен в, не побоюсь этого утверждения, самый большой open source проект для роботики — ROS [4].
Но далее мы будем говорить не об этом. Представим, что нам интересно очень четко отслеживать движения пальцев на руке.
Трое исследователей: Iason Oikonomidis — Nikolaos Kyriazis - Antonis Argyros [5] с факультета компьютерных наук университета Крита написали демку, которую можно собственноручно пощупать, которая следит за рукой, в том числе и за всеми 5-ю пальцами на ней.
Что же именно написала эта тройка?
(Следующий список — перевод непосредственно со страницы проекта)
Их софт следит за 3D позицией, ориентацией и полной артикуляцией человеческой руки основываясь на визуальных данных, без использования каких бы то ни было маркеров. Метод, который был разработан:
Собственно, после уточнения, что лучше носить рукава для того, чтобы программе было проще следить за вашей рукой, они переходят непосредственно к демонстрации видео, которые я и приведу далее для тех, кому лень переходить на какие бы то ни было ссылки выше.
И еще немного о том на каком железе все это дело стоит запускать.
Система получилась медленная, но пока что выглядит довольно многообещающе, хотя конечно все равно какие-то ошибки она делает. Лично для того, чес занимаюсь я, она на данный момент бесполезна, так как на роботе стоит Атом. Значит мне придется повременить с распознаванием жестов пальцами и остановиться на тех, для которых нужно задействовать всю руку.
Будем надеяться, что все это дело как нибудь еще прооптимизируют и рано или поздно, мы сможем насладиться управлением буть то роботом или компьютером кроме всего прочего еще и точными жестами рук.
PS. Буду признателен за указание на неточности и открыт для пожеланий. Спасибо.
Автор: niosus
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/kinect-2/14880
Ссылки в тексте:
[1] таком : http://www.aldebaran-robotics.com/en/Discover-NAO/Key-Features/hardware-platform.html
[2] Kinect 3D Hand Tracking: http://cvrlcode.ics.forth.gr/handtracking/
[3] вот здесь: http://www.ros.org/wiki/mit-ros-pkg/KinectDemos/FingerDetection
[4] ROS: http://www.ros.org/wiki/
[5] Antonis Argyros: http://www.ics.forth.gr/~argyros/
Нажмите здесь для печати.