Minecraft применили для обучения роботов

Компьютерная игра с открытым миром Minecraft популярна среди детей по всему миру, а взрослые используют эти кубики для более серьёзных проектов. Например, для конструирования цифровых схем, ПЗУ ^[1] и процессоров: у самого быстрого из майнкрафтовских процессоров DjCPU8 ^[2] есть 256 байт памяти, он поддерживает 42 инструкции и ассемблер.

Теперь для Minecraft нашли ещё одно применение: обучение роботов.

Такие эксперименты ^[3] ведёт Стефани Теллекс (Stefanie Tellex), профессор университета Брауна. Песочницу Minecraft она использует для обучения роботов (точнее, их виртуальных копий) более быстрым и эффективным способам решения проблем.

Сегодня это не слишком актуальные задачи, ведь большинство роботов функционируют в постоянной среде, почти всегда зафиксированы на одном месте и выполняют однотипные задачи. Но в будущем подобные исследования могут стать актуальными, когда роботы выйдут в открытый мир, ещё более сложный, чем Minecraft, и начнут действовать в сложном окружении.

В реальном мире у роботов могут возникнуть проблемы. «Вы можете сказать роботу приготовить кофе, а через минуту — постирать бельё. В такой ситуации, когда задачи не были известны заранее, возникает проблема планирования, — говорит профессор Теллекс. — Очень сложно определить необходимую последовательность действий, подходящую для данного конкретного окружения. Наш подход заключается в том, чтобы быстрее обучиться этому».

В сложном окружении есть огромное количество вариантов, тем более, если перед роботом поставлено несколько задач. У компьютера просто не хватит вычислительных мощностей, чтобы перебрать все варианты. Стефани Теллекс с группой студентов разработали алгоритм, который помогает отбросить некоторые возможные варианты за счёт понимания того, какого направления требует каждая конкретная задача.

В мире Minecraft алгоритм проходит обкатку. Самообучаемой программе задали задачу поместить блок золота в печку для обжига, избежав при этом озера с лавой (на скриншотах вверху). Методом проб и ошибок программа поняла, что вариант с выпадением блока на землю перед дальнейшими действиями можно исключить из перебора вариантов.

Подобное обучение в виртуальной среде могут проходить и настоящие роботы в будущем, прежде чем их пустят в реальный мир.

Другие исследователи говорят, что тестирование в виртуальной среде уже является важной частью обучения роботов. Очевидно, настоящий робот не может методом проб и ошибок учиться в реальном мире ходить по лестнице, поэтому модель сначала обкатывают в виртуальности.

В видеоролике показан робот Baxter, программа которого научилась различным действиям в реальном мире. Тоже методом проб и ошибок, хотя Minecraft здесь не задействовали.

Автор: alizar

Источник ^[4]