«Ложноположительное срабатывание». Стало известно, почему автопилот Uber не затормозил перед пешеходом

Поздним вечером в воскресенье 18 марта 2018 года около города Темпе (штат Аризона) произошло ДТП с участием беспилотного автомобиля Uber. К сожалению, переходившая проезжую часть женщина с велосипедом скончалась. Тот инцидент многократно обсуждался на Geektimes. Особенно активно обсуждалась видеозапись ^[1], которую через несколько дней опубликовало местное полицейское управление. На 22-секундном видео присутствует два фрагмента: съёмка с фронтальной камеры на дорогу и съёмка водителя-человека, который сидит за рулём и контролирует работу автопилота.

Женщина за рулём машины в момент аварии опустила глаза на смартфон и не успела среагировать на препятствие, неожиданно выскочившее из темноты в круг ближнего света.

Наиболее оживлённую дискуссию вызвал тот факт, что автопилот врезался в пешехода на полном ходу, даже не попытавшись снизить скорость или уклониться от столкновения. Это удивительно, учитывая большое количество оборудования для компьютерного зрения. Ведь женщина переходила дорогу прямо перед лидаром и несколькими видеокамерами автомобилями, а судя по видеозаписям других участников дорожного движения, участок был неплохо освещён.

«Ложноположительное срабатывание»

По мнению экспертов ^[2], судя по отсутствии реакции автопилота на препятствие, можно предположить два варианта проблемы:

• Неисправность в системе распознавания объектов, которая не смогла классифицировать женщину и её велосипед как пешехода. Но такой вариант кажется маловероятным, потому что велосипеды и люди принадлежат к тем классам объектов, которые система должна распознавать лучше всего.
• Ошибка в более высокой логике автомобиля, которая принимает решения, на какие объекты обращать внимание и что с ними делать. Например, нет необходимости замедляться из-за припаркованного велосипеда на обочине дороги, но малейшей маневр другого транспортного средства в полосу перед автопилотом является причиной для немедленных действий. Здесь логика автопилота следует механизму работы человеческого внимания и принятию решений живым водителем. Система оберегает автомобиль от паники на каждом обнаруженном объекте.

Судя по поступившей сейчас информации, в случае с Uber возникла проблема второго типа: автопилот посчитал пешехода с велосипедом «ложноположительным срабатыванием» (false positive) системы компьютерного зрения и в соответствии с программными установками проигнорировал его. О предварительных результатах сообщило ^[1] издание The Information со ссылкой на два конфиденциальных источника, знакомых с ходом расследования.

Судя по всему, причина фатальной аварии — ошибка программы. В частности, некорректная работа функции, которая определяет, какие объекты игнорировать, а на какие следует реагировать. Если комиссия по расследованию придёт к таким выводам и утвердит их окончательно, то встанет вопрос о прямой ответственности компании Uber за инцидент. Впрочем, компания заранее заключила досудебное соглашение ^[3] с семьей сбитой велосипедистки, так что судебного разбирательства не будет.

Кроме того, данный случай позволяет предположить самое слабое звено в системе компьютерного зрения: это высокоуровневая система логики, которая обрабатывает информацию с лидара, камер и сенсоров — и принимает решения в реальном времени. Если сравнивать сенсоры и камеры с «глазами», то ошибка в данном случае произошла в «мозге» автопилота.

Компания Uber опубликовала заявление ^[4] по поводу новой информации о ходе расследования: «Мы активно сотрудничаем с Национальным советом по безопасности на транспорте США (NTSB) в расследовании инцидента. Из уважения к этому процессу и доверительных отношений с NTSB, мы не можем комментировать специфику инцидента. В то же время мы начали сквозной аудит безопасности нашей программы автопилота, а также пригласили бывшего руководителя NTSB Кристофера Харта для консультаций об общей культуре безопасности. Мы пересматриваем все аспекты, начиная с безопасности системы и заканчивая процессами обучения операторов транспортных средств, и надеемся, что вскоре сможем больше сказать по этому поводу».

Совместное расследование Uber и Национального совета по безопасности на транспорте продолжается.

Автор: Анатолий Ализар

Источник ^[5]