Итоги Black Box Challenge

Привет! Три месяца назад мы объявили о старте соревнования по машинному обучению BlackBox Challenge ^[1], а недавно оно закончилось. В этом посте организаторы соревнования расскажут о том, как всё прошло.

Вдохновившись результатами Google DeepMind ^[2] по reinforcement learning ^[3], мы поняли, как здорово, когда система не использует человеческую экспертизу, а сама учится понимать окружающую среду. Мы решили сделать соревнование, в котором участникам нужно создать как раз такую систему.

Что за челлендж?

Формат BlackBox Challenge ^[4] это синтез классического формата соревнований по машинному обучению (как на сайте Kaggle ^[5]) и соревнований по программированию искусственного интеллекта (например, Russian AI Cup ^[6]). Участником предлагалось написать бота, который играет в игру с неизвестными правилами — на каждом шаге боту дается 36 переменных, описывающих состояние среды, и он должен выполнить одно из четырех действий.

С одной стороны, соревнование получилось интерактивным — нужно было написать агента, который взаимодействует с внешней средой. С другой стороны, законы этой среды были неизвестны участникам — это вынудило их не использовать априорные знания об устройстве игры, а применять современные методы машинного обучения ^[7].

Итоги

Соревнование длилось три месяца, за это время было загружено 3347 решений, из которых 1459 — это нетривиальные решения, которые не совпадают с опубликованным примером (baseline агент).

Число зарегистрированных участников — 1360, из которых 415 загрузили по крайней мере одно решение.
93 участника смогли превзойти baseline на валидационном уровне.

Призы

Призовой фонд составил 800,000 рублей:

• 1 место: 300,000 рублей
• 2 место: 175,000 рублей
• 3 место: 125,000 рублей
• 4-8 места: Xbox One
• специальный приз 100,000 рублей за самое интересное решение, выбранное экспертами DCA

В последние недели соревнования в лидерборде шла ожесточенная борьба, и судьбу призов решили считанные баллы.

C большим отрывом победителем соревнования стал участник insight с результатом 4693 очков на финальном уровне.

Участники со второго по пятое место — 5vision, alexandrbugaychuk, grmel89 и wrwrwr — идут очень близко друг к другу. Разрыв между результатами 2-го и 5-го места меньше 150 очков! Это поразительно мало, и чтобы разобраться, мы построили графики лучших решений на валидационном и финальном уровне (обратите внимание, что графики построены для лучших решений на финальном уровне).


Из них видно, что и сами решения этих участников тоже очень близки и разница в результатах обусловлена случайностью, присущей игре. В этот раз фортуна была на стороне 5vision и alexandrbugaychuk, поздравляем! Призовые 6-8 места заняли VictorGNC, cosionix и AGilmullin (Kesha), преодолев базового бота более, чем на 1000 очков. Это отличный результат.

Участники SDil и ottogin замыкают первую десятку, также обогнав базового бота более, чем на 1000 очков.
Полная таблица финальных результатов доступна по ссылке ^[8].

Номинация «Самое интересное решение»

Кроме основного набора призов, мы также разыгрывали номинацию “Самое интересное решение”, в которой эксперты DCA оценивали изящность и перспективность подходов участников.

Большинство решений оказались многопараметрическими моделями, в которых параметры менялись случайным образом, часто с помощью эволюционных алгоритмов. Качество модели определялось по результату на одном из игровых уровней. Судя по результатам, такие подходы оказались достаточно эффективными. Похожим образом и был получен наш линейный бот (baseline).

Было, однако, несколько участников, которые действовали по-другому и тоже достигли хороших результатов. Экспертам из DCA было трудно выбрать самое интересное решение, но в конце концов победило решение команды 5vision, которым удалось реализовать изящную идею с использованием policy iteration. Команда получает дополнительные 100,000 рублей.

Также хочется отметить решения guillermobarbadillo — единственный кому удалось применить Q-learning, ottogin — за найденный способ supervised обучения нейронной сети и, конечно, insight — за необычный и эффективный подход к сэмплированию.

Что дальше

Мы открыли систему проверки для тех, кто хочет порешать черный ящик в своё удовольствие и проверить идеи на которые не хватило времени.
Судя по отзывам, многим понравился такой формат соревнования, поэтому в скором времени мы планируем провести соревнование с новой интересной интерактивной задачей.

По вопросам сотрудничества мы доступны по адресу wow@blackboxchallenge.com

Спасибо за участие!

Автор: DCA (Data-Centric Alliance)

Источник ^[9]