Система распознавания лиц Amazon Rekognition приняла 28 конгрессменов США за преступников

Американский союз гражданских свобод (American Civil Liberties Union, ACLU) продолжает кампанию против использования систем распознавания лиц федеральными агентствами и полицией. ACLU настаивает, что качество этих систем слишком низкое для реального использования. В результате будет много ложных срабатываний, из-за чего пострадают невинные люди. Пытаясь убедить Конгресс США запретить использование этих систем, правозащитники предприняли дерзкую, но эффективную акцию: они прогнали через систему распознавания лиц Amazon Rekognition ^[1] всех американских конгрессменов. Результат оказался немного предсказуем: система распознала 28 конгрессменов как преступников ^[2]. Фотографии «героев» на скриншоте вверху.

Amazon агрессивно продвигает свою систему распознавания лиц. Недавно стало известно, что корпорация заключила контракты ^[3] с полицейскими подразделениями округа Вашингтон, штатов Орегон и Флорида. Руководитель компании Джефф Безос позиционирует Rekognition как эффективный инструмент распознавания лиц в реальном времени, в том числе по видеопотоку, который поступает с носимых видеокамер на униформе полицейских.

Это напоминает систему, которую в этом году начали тестировать ^[4] в некоторых городах Китая, в том числе в городе Чжэнчжоу (провинция Хэнань на востоке центральной части Китая). Там полицейским выдали специальные очки с видеокамерами, которые тоже подключены к программному обеспечению для распознавания лиц.

Гаджеты выдали в первую очередь сотрудникам транспортной полиции, которые работают на оживлённой железнодорожной станции Восточный Чжэнчжоу, потому что перед их глазами проходит больше всего людей. Очки специально разработаны для полиции и подключены к наладонному компьютеру. После сканирования лица прохожего компьютер подключается к центральной базе данных, где осуществляется поиск совпадений. Эксперимент доказал свою эффективность: к 6 февраля полиции удалось идентифицировать семь беглецов, которые обвиняются в скрытии с места ДТП и торговле людьми.

Но в Китае к защите прав человека относятся более снисходительно: там уже на улицах работает 170 млн камер видеонаблюдения ^[5], которые подключены к единой системе распознавания лиц. Ложноположительные срабатывания никого особо не смущают, если система помогает ловить реальных преступников.

А вот американские правозащитники считают, что ложноположительные срабатывания — свидетельство того, что система ещё не готова к использованию.

Результаты тестов ACLU показали, что Rekognition ошибочно приняла изображения 28 невинных конгрессменов за преступников. Интересно, что неправильные срабатывания искажены в сторону людей с чёрным цветом кожи. Среди «пострадавших» конгрессменов таких 39%, хотя в реальности темнокожие конгрессмены составляют лишь 20% нижней палаты парламента. Такие результаты подтверждают опасения представителей чернокожих групп, которые изложены в письме ^[6] Congressional Black Caucus в адрес Amazon, что использование системы распознавания лиц может иметь «глубокие негативные непреднамеренные последствия» для чернокожего населения, незаконных мигрантов и участников акций протеста. В самом деле, есть признаки того, что система чаще ошибается при сравнении чернокожих лиц, особенно женщин.

Ну а вообще под раздачу попали все — и демократы, и республиканцы, и мужчины, и женщины, всех возрастов из разных регионов страны. Все они попали в число ошибок системы.

Представители ACLU считают, что каждое ложноположительное срабатывание подвергает угрозе свободу человека. Полицейский может предвзято относиться к такому человеку, подвергнув его допросу или обыску.

Сканирование произведено на общедоступном сервисе Amazon Rekognition, стоимость услуги составила $12,33. Для сравнения с фотографиями 535 конгрессменов и сенаторов выбрали 25 000 публично доступных фотографий людей в наручниках. Тест проводился с настройками по умолчанию. 28 ошибок означают примерно 5% ложноположительных срабатываний. Теоретически это может и неплохой результат, но если применить её на тысячах лиц, то это означает множество невинных людей, которых подвергнут обыскам из-за ошибки программы.

Конечно, все результаты программы будут проверяться людьми, но все мы знаем, что такие системы могут быстро выйти из-под контроля и перейти в автоматический режим, как это случилось с системой выдачи штрафов за превышение скорости.

ACLU призвал Конгресс «ввести мораторий» на использование данной технологии, пока она не начнёт выдавать приемлемую точность.

Автор: Анатолий Ализар

Источник ^[7]