Управление роборукой при помощи leap motion

В прошлом году я собрал роборуку ^[1], написал для неё «драйвер» ^[2] для linux, научил держать разные предметы. И как-то забыл про неё. Но вчера мне доставили leap motion ^[3] и придумалась новая идея — научиться управлять роборукой по средством движений своих рук.

Чем нужно управлять

У роборуки есть:

• база — может крутиться по и против часовой стрелки;
• плечо — двигаться вверх и вниз;
• локоть — двигаться вверх и вниз;
• запястье — двигаться вверх и вниз;
• клешни — открываться и закрываться.

Для всего этого «драйвер» предоставляет простое api:

from roboarm import Arm

arm = Arm()
arm.base.rotate_clock(3)
arm.elbow.up(1)
arm.grips.open(2)

Первая реализация

Leap motion умеет определять руки ^[4], пальцы ^[5] и их направление.
Поэтому я решил привязать движения к пальцам:

Ничего не вышло. Leap motion правильно определял, когда на руке 1-2 пальца, но когда больше — случайное значение от 1 до 5.

Вторая реализация

Leap motion отдаёт координаты рук в определённых границах, у меня примерно от -200 до 200 по X и от 0 до 400 по Y. Эту область я разбил на десять равных частей и привязал к ним действия:

Эта реализация ^[6] оказалась рабочей =)

Что получилось

Видео с результатом, где роборука пытается поднять коробочку:

Ссылки

Роборука owi robotic arm. ^[1]
Leap motion. ^[3]
«Драйвер». ^[2]
Исходный код реализации. ^[6]

Автор: nvbn

Источник ^[7]