Первый в мире случай читерства в исследованиях ИИ

Imagenet Challenge ^[1] — международный конкурс для систем распознавания образов. По условиям, компьютерная программа должна распознать и классифицировать ряд объектов на цифровых изображениях, определив одну из 1000 тематических категорий.

В соревновании участвуют многие крупные компании, которые выделяют большие бюджеты на подобные разработки. Поэтому новость о читерстве китайской компании Baidu ^[2] вызвала настоящий скандал: говорят, это первый случай ^[3] мошенничества в сфере разработок систем искусственного интеллекта. В результате, Baidu исключена ^[4] из соревнований Imagenet на следующий год.

Imagenet Challenge сравнивают с тестом Тьюринга для систем ИИ, хотя здесь задача состоит не в осмысленном разговоре, а в распознавании образов. Но это тоже очень важная задача для ИИ.

В научной статье ^[5] инженеры Baidu описывают суперкомпьютер, который якобы показывает лучший результат в распознавании объектов, чем предыдущие разработки, в том числе от Google и Microsoft. Китайцы заявили, что их программа показывает рекордно низкий уровень ошибок 4,58%, тогда как у Google этот показатель составляет 4,82%, а у Microsoft — 4,9%.

Baidu разместила публикацию на сайте Arxiv.org в электронном виде. На этом сайте статьи публикуются без предварительной проверки. Ситуация усугубилась тем, что через пару дней новость о «достижении» китайских инженеров перепечатало издание MIT Technology Review и другие научные издания. Только через три недели факт читерства был вскрыт, а статью обновили.

Расследование ^[6] показало, что Baidu зарегистрировала как минимум 30 аккаунтов для участия в конкурсе Imagenet Challenge и за последние полгода внесла более 200 заявок с результатами, в том числе более 40 заявок в течение пятидневного отрезка в марте 2015 года.

Компания Baidu позже принесла публичные извинения ^[7] за свой поступок.

Эта история ещё раз показывает, что исследования в сфере распознавания образов сейчас являются одним из главных направлений в ИТ, если даже крупные компании не стесняются использовать такие уловки, чтобы выставить себя впереди конкурентов.

Автор: alizar

Источник ^[8]