- PVSM.RU - https://www.pvsm.ru -
Привет! Если кратко, приглашаем всех поучаствовать в необычном конкурсе по машинному обучению Black Box Challenge [1], который проходит при поддержке DCA.
Условия просты: нужно написать бота, который умеет играть в игру с неизвестными правилами. Победители получат ценные призы: от Xbox One до 300 тыс. рублей за первое место и возможность попасть в крутые компании на позицию специалиста по машинному обучению.
Ниже мы расскажем о соревновании в формате вопрос-ответ.
Итак, нужно научить бота играть в игру с неизвестными правилами. На каждом шаге игры бот может узнать вектор состояния игровой среды, подумать, что хочет сделать в этом состоянии, и сделать одно из четырех возможных действий.
За совершенные действия бот получает награду, иногда сразу, иногда лишь через какое-то время после действия. То есть, не всегда можно сразу понять, было ли действие хорошим или нет.
Кроме того, игра не детерминирована, в наградах есть элемент случайности. Но случайность уже заморожена в файлах с уровнями. Это нужно для того, чтобы результат на уровне не зависел от запуска. Можно представить себе это так: мы подкинули монетку 100 раз и сохранили все исходы. После этого мы используем эти исходы для вычисления наград.
Подробнее об условиях и интерфейсе игры можно почитать на сайте конкурса [1]. Там же можно ознакомиться с тестовыми примерами, спецификацией и полезными ссылками для изучения вопроса (хотя времени остаётся мало).
Kaggle — это самая известная международная платформа для соревнований по машинному обучению. Все соревнования на Kaggle устроены примерно следующим образом:
Наше соревнование устроено иначе:
Иными словами, решение задачи на Kaggle это статичный файл с ответами. Решение в нашем соревновании — это обученный агент, взаимодействующий с неизвестной ему игровой средой.
Если кратко, то тем, что правила неизвестны. Ежегодно наш партнёр Mail.ru проводит открытое соревнование по программированию искусственного — Russian AI Cup. Например, в прошлом году нужно было создать программу для управления одним или группой кодемобилей.
Если вы внимательно посмотрите на прошлогодних победителей Russian AI Cup, то окажется, что все их решения использовали априорные знания человека об устройстве игры и вообще не использовали машинное обучение.
Мы подумали, что интересней, когда система не использует человеческую экспертизу, а учится сама понимать окружающую среду, в частности играть в игры.
Чтобы поспособствовать этому мы создали игру с неизвестными правилами.
Да, эта область машинного обучения называется Reinforcement Learning [2]. Не так давно гугловская компания Deep Mind [3] (та самая, что которая создала AlphaGo [4]) выпустила отличную статью «Playing Atari with Deep Reinforcement Learning [5]», в которой научила программу играть в десятки игр Atari 2600 на человеческом уровне. Некоторые участники пытаются использовать их идеи для нашей игры, но, судя по чату [6] в Telegram, пока не очень успешно :)
На сайте мы выложили пример простого бота [7], который немного умеет играть в нашу игру. Как мы его придумали, будет пока нашим секретом — мы не хотим ограничивать вашу фантазию своей идеей.
Результат этого бота (2090 очков на валидационной выборке) мы считаем базовым уровнем для участников. На данный момент из более чем 770 зарегистрированных участников, 39 смогли преодолеть этот уровень, это оказалось не так просто, как нам казалось.
Многие из преодолевших базовый уровень участников достигли этого просто немного улучшив коэффициенты нашего простого бота. Надеемся, что вам удастся превзойти их новыми подходами. :)
Достаточно иметь Python с установленным модулем numpy и уметь на нём программировать.
Если у вас почему-то нет питона, то рекомендуем установить Anaconda [8] последней версии. Anaconda — это Python со множеством полезных библиотек для машинного обучения и анализа данных.
Мы поддерживаем только Python. Ещё недавно можно было использовать только Python 2.7, но мы решили, что нет смысла противиться будущему и сделали поддержку Python 3.5.
Если у вас что-то не работает, не стесняйтесь, сразу же пишите нам. Стараемся всем помочь.
Призовой фонд составляет более 600,000 рублей.
Эти средства будут распределены следующим образом:
1 место: 300,000 рублей
2 место: 170,000 рублей
3 место: 125,000 рублей
Кроме того, следующие 5 лучших участников получат Microsoft Xbox One.
Партнёры соревнования — Data-Centric Alliance, Mail.ru, Skyeng постоянно ищут продвинутых специалистов по машинному обучению и анализу данных.
Участники, хорошо выступившие на нашем соревновании и предложившие нетривиальные подходы, будут приглашены на собеседования. А это значит, что впереди маячит карьера с ещё более интересными задачами в сфере машинного обучения.
30 мая 2016, 23:59 по Москве: крайний срок загрузки решений.
10 июня 2016: определение победителей.
У нас есть форум [9], где мы постим новости о соревновании, отвечаем на вопросы, и на котором участники делятся идеями. Также у нас есть два канала в Telegram для обсуждений: англоязычный [10] и русскоязычный [6].
Задавайте свои вопросы в комментариях, мы с радостью ответим!
Автор: DCA (Data-Centric Alliance)
Источник [11]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/iskusstvenny-j-intellekt/118346
Ссылки в тексте:
[1] Black Box Challenge: http://blackboxchallenge.com/
[2] Reinforcement Learning: https://en.wikipedia.org/wiki/Reinforcement_learning
[3] Deep Mind: https://deepmind.com/
[4] AlphaGo: https://habrahabr.ru/post/279071/
[5] Playing Atari with Deep Reinforcement Learning: https://www.cs.toronto.edu/~vmnih/docs/dqn.pdf
[6] чату: https://telegram.me/joinchat/ABgkrgbTlj3u8osH8PqbWg
[7] бота: http://blackboxchallenge.com/examples/
[8] Anaconda: https://www.continuum.io/downloads
[9] форум: http://blackboxchallenge.com/forum
[10] англоязычный: https://telegram.me/joinchat/ABgkrgiIdxEBWqXbnu4h6A
[11] Источник: https://habrahabr.ru/post/281707/
Нажмите здесь для печати.