Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат

в 8:20, , рубрики: Vegebot, изображение, ИИ, искусственный интеллект, кочан, машинное обучение, Научно-популярное, обработка изображений, робототехника, салат, уборка, урожай

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 1
Многие виды растений и сельхозкультур до сих пор собираются только вручную.

Инженеры из Кембриджского университета (Великобритания) создали рабочий прототип роботизированного сборщика урожая, способного самостоятельно распознавать готовые к срезанию неповрежденные кочаны салата, а также аккуратно их обрабатывать и собирать.

Чтобы собрать хороший урожай в автоматическом режиме нужно решить несколько сложных технологических задач, таких как:

— точное и правильное позиционирование на месте сбора, синхронизация действий с другими сборщиками;

— анализ и выбор правильных алгоритмов для использования с разными культурами;

— распознавание созревших плодов (листов, ягод);

— утилизация поврежденных или не проросших элементов;

— аккуратный захват и срезание готовых к сбору культур без повреждений;

— сортировка и укладка собранного урожая;

— логирование действий и способность к самообучению;

— проверка корректности текущих действий и минимизация повреждений на участке сбора.

Помимо того, выполнять все эти задачи необходимо с высокой скоростью и в реальных постоянно меняющихся условиях окружающего мира (ветер, дождик, насекомые, животные и так далее).

Группа инженеров Кембриджского университета успешно решила часть этих задач и опубликовала свои исследования в этой работе:

Ссылка на научную статью в издании Journal of Field Robotics.

Они создали небольшой и пока что мало автономный прототип самостоятельного робота-сборщика урожая, способного анализировать и выбирать правильные для сбора элементы.

Этот робот-сборщик представляет из себя манипулятор на колесной платформе шириной в одну грядку. Манипулятор оснащен захватом, ножом для срезания и видеокамерой, дополнительная видеокамера расположена в верхней части его платформы.

Так как это еще только прототип, который для массового применения будет значительно дорабатываться как элементно, так и функционально, то инженеры просто установили все необходимые им для проведения испытательных полевых исследований компоненты робота на пассивной колесной платформе, передвигаемой оператором вручную.

Их задача была – научить робота понимать процесс сбора урожая и автоматизировать его действия с помощью машинного обучения.

После того, как робот оказывается над новыми кочанами салата, активируется процесс распознавания и классификации кочанов салата с помощью видеокамер и нейросетей.

Картинки с видеокамер на манипуляторе и платформе использовались для:

— локализация кочанов салата, находящихся перед видеокамерой – с помощью сверточной нейросети YOLO version 3, для обучения которой было использовано 1500 фотографий;

— классификации кочанов салата по четырем типам (созревший элемент, несозревший элемент, зараженныйповрежденный элемент, отсутствие элемента) с помощью сверточной нейросети Darknet Object Classification Network, для обучения которой было использовано 665 фотографий.

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 2

Полевые испытания робота-сборщика показали, что он способен:

— определять кочаны салата перед собой с точностью в 91%;

— корректно классифицировать кочаны салата с точностью 85%.

— время одного цикла работы (переход от одного кочана салата к другому) 32 секунды, что очень много, но этот момент будет еще дорабатываться.

Оказывается, что сами грядки очень заросшие и места прорастания кочанов салата очень сложно просто так локализовать и классифицировать:

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 3

Поэтому салат убирают в ручном режиме быстро, но все подряд без особого и тщательного отбора:

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 4

Да и создать небольшую платформу с роботом-уборщиком сложно, ведь устройство должно быть подвижно, достаточно стабильно держаться на поверхности на рыхлой земле и не разрушать своими компонентами грядки.

Вот какие ограничения по размерам для элементов и параметры у прототипа робота-сборщика были:

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 5

Что получилось в итоге на полевых испытаниях после его сборки:

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 6

Кстати, платформу с роботом назвали Vegebot.

Структурная схема взаимосвязи компонентов платформы Vegebot:

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 7

Причем, обе видеокамеры в этом решении – самые простые и дешевые USB веб-камеры.

Программная часть Vegebot (архитектура и веб-интерфейс), используется Robot Operating System (ROS):

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 8

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 9

Диаграммы циклов работы Vegebot (циклы обучения, сбора):

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 10

Подготовка к полевым испытаниям, исследование грядок и анализ картинок кочанов салата с разных высот расположения камеры:

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 11

А ведь каков шнурок-ремешок для ноутбука! Инженерная смекалка в деле!

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 12

Таблица с разными типами фотографий для локализации кочанов салата, находящихся перед видеокамерой (для обучения сверточной нейросети YOLO version 3):

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 13

Таблица с разными типами фотографий для классификации кочанов салата по четырем типам (созревший элемент, несозревший элемент, зараженный элемент, отсутствие элемента) для обучения сверточной нейросети Darknet Object Classification Network:

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 14

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 15

Промежуточные варианты механизмов и элементов Vegebot:

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 16

Двойной элемент для сбора кочанов салата (захват и нож):

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 17

Роторный двигатель постоянного тока (слева), линейный привод с ножевым механизмом (справа):

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 18

Пневматический резак:

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 19

Финальная версия механизма захвата и сбора урожая с ременным приводом и системой двойного пневматического привода:

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 20

Характеристики и размеры механизма захвата Vegebot:

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 21

Принцип работы механизма захвата Vegebot (T — force threshold, FR — ground reaction forces):

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 22

Позиционирование механизма захвата Vegebot с помощью двух бортовый видеокамер:

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 23

Компенсация внешних факторов освещения и параметров изображений с видеокамер для оптимальной локализации кочанов салата:

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 24

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 25

Примеры локализации (распознавания) кочанов салата на изображениях с видеокамер на разной высоте и под разными углами:

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 26

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 27

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 28

Полученные полевые данные по локализации (распознаванию) кочанов салата с помощью Vegebot (на основе 60-ти попыток Vegebot распознать кочан салата):

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 29

Параметры изображений и матрица для классификации кочанов салата:

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 30

Время работы и траектории механизма захвата Vegebot:

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 31

Возникла в процессе проведения полевых испытаний проблема с определением количества ненужных (торчащих) листьев на кочане салата после сбора, которые нужно удалить.

Вот какие варианты тут есть: идеально срезанный кочан салата без торчащих листьев, кочан салата с одним торчащим листом, кочан салата с двумя торчащими листами, кочан салата с поврежденными листами.

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 32

В зависимости от количества лишних листьев на кочане салата и необходимости их распознавания и удаления, рабочий цикл Vegebot тоже меняется:

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 33

Итоговые данные по полевым испытаниям прототипа робота-сборщика урожая Vegebot:

Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат - 34

Конечно, данный прототип еще далек от промышленного аграрного использования, но ведь это только начало исследований.

Автор: Денис

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js