Краудсорсинг в ML Boot Camp. Считаем mIOU без картинок для новой задачи от Одноклассников

Привет! Лето — жаркое. Организаторы «айтишных» чемпионатов много сидели на солнце, сгорели и схватили удар, но главное — собрали новую задачу для очередного (уже девятого) контеста на платформе ML Boot Camp. Чемпионат пройдёт онлайн в течение месяца.

Сейчас на платформе зарегистрировано более 10 тысяч специалистов. Часто бывает, что задачи, которые на ней появляются, не всем по зубам (богам Kaggle в том числе). Для чего мы это делаем? Нужно развиваться и пробовать, причем на реальных данных, а не синтетическом булшите. Победы придут со временем.

Задача, которую хотим предложить вам решить в этом соревновании, отличается от всех предыдущих. Тема задачи — это детектирование объектов на изображениях. Формулировка задачи подразумевает, что в наборе данных будут картинки, но, что забавно, их нет. И это не петабайты данных. И даже не гигабайты.

Тема популярная и, на самом деле, очень важная. В социальной сети Одноклассники, как и в других продуктах, существует задача фильтровать контент. Представьте, что ваш ребенок увидит не ту картинку — его мир навсегда изменится.

Два года назад Алексей Сенников ^[1] написал статью ^[2] про то, как Одноклассники привлекают своих пользователей к решению данной проблемы. Вкратце, в статье Алексей рассказал про игровое приложение «Модератор Одноклассников» ^[3], в котором пользователи социальной сети классифицируют изображения на хорошие и плохие, получая за это различные плюшки, а также поделился способом решения задачи по увеличению DAU (Daily Active Users) приложения с помощью алгоритмов машинного обучения.

К слову, DAU сейчас у приложения 40 тысяч пользователей, и более 1’000’000 решений в день. Неплохо, да?

Задача нового контеста

В социальной сети Одноклассники есть платформа для разметки данных. На ней пользователям была дана задача выделить прямоугольником заданный объект на фотографии. По ответам людей восстановить истинное положение объекта.

На входе вы получите краудсорсинговую разметку и данные в виде любимых всеми табличек. В ответ вы должны будете прислать просто файл с предсказаниями.

Датасет и бейзлайн будут опубликованы в день старта соревнования на ML Boot Camp.

Для оценки решения будет использоваться метрика mIOU (mean intersection over union). Если еще не сталкивались с данной метрикой, то рекомендуем прочитать о ней статью ^[4].

Расписание

Чемпионат будет идти в онлайн формате. Стартуем 27 июня в 19:00, закрываем сабмиты 29 июля в 12:00. Итоги подводим тоже 29 июля в 13:00.

Все зарегистрированные пользователи на платформе получат напоминалку на почту. Регистрируйтесь ^[5] или подписывайтесь на канал ^[6] @mrgchamps. Попутно войдите в сообщество участников (чат ^[7] @mlbootcamp на 1400 человек) в Telegram, чтобы точно быть в теме всего происходящего.

Подарки

   
Куда же без них. Во-первых, лучшие участники получат:

1 место: MacBook Pro 13', 2-ядерный процессор, 256 GB SSD, 16 RAM.
2 место: iPhone XS Max, 256 GB.
3 — 6 место: Apple Watch Series 3 42mm или Samsung Gear S3 Frontier на выбор.
7 — 10 место: Western Digital My Passport 4 TB.

Во-вторых, футболки с крутым принтом получат топ-30% пользователей от всего количества участников.

Литература

Для хорошего старта в чемпионате советуем прочитать статьи:

1. Grouper: Optimizing Crowdsourced Face Annotations ^[8]
2. Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm ^[9]

Приходите, участвуйте, учитесь и побеждайте!

Автор: sannikovdmitry

Источник ^[10]