Заглянуть в черный ящик — новая система от MIT покажет, как работают алгоритмы машинного обучения

В MIT представили интерактивный инструмент, который дает понять, почему интеллектуальная система принимает то или иное решение. В этом материале — о том, как он работает.

^[1]
/ Unsplash / Randy Fath ^[2]

Проблема черного ящика

Автоматизированные системы машинного обучения (AutoML) многократно тестируют и модифицируют алгоритмы и их параметры. Используя метод обучения с подкреплением ^[3], такие системы выбирают ^[4] ИИ-модели, которые больше других подходят для решения той или иной задачи. Например, для автоматизации службы технической поддержки ^[5]. Но AutoML-системы действуют как черные ящики, то есть их методы скрыты от пользователей.

Эта особенность значительно усложняет отладку алгоритмов машинного обучения. И, например, в случае с системами автопилотирования, последствия могут быть фатальными. В 2016 году Tesla на автопилоте впервые стала ^[6] участником смертельного ДТП, столкнувшись с большим грузовиком. Причина аварии достоверно неизвестна. У экспертов есть только предположение — алгоритм перепутал ^[7] высокий грузовик с дорожным знаком, установленном на нижнем крае эстакады. И ошибку до сих пор не устранили — в начале марта в США вновь произошла аналогичная авария ^[8].

Чтобы объяснить, как машинный алгоритм пришел к тому или иному выводу, инженеры используют ^[9] апостериорные методики или интерпретируемые модели вроде деревьев решений ^[10]. В первом случае входные и выходные данные используют для аппроксимации «мыслительного процесса» алгоритма. Точность таких методик оставляет желать лучшего.

Деревья решений — более точный подход, но работает только с категорированными данными ^[11]. Поэтому для сложных проблем компьютерного зрения неудобен.

Исправить ситуацию решили инженеры из MIT, Гонконгского университета науки и технологии и Чжэцзянского университета. Они представили ^[12] инструмент для визуализации процессов, происходящих внутри черного ящика. Его назвали ATMSeer.

Как работает система

ATMSeer построен на базе Auto-Tuned Models ^[13] (ATM). Это — автоматизированная система машинного обучения, которая ищет наиболее эффективные модели для решения конкретных задач (например, поиск объектов). Система произвольным образом выбирает тип алгоритма — нейросеть, деревья решений, «случайный лес ^[14]» или логистическая регрессия. Таким же образом определяет гиперпараметры модели — размер дерева или число слоев нейронной сети.

ATM проводит серию экспериментов с тестовыми данными, автоматически подстраивая гиперпараметры и оценивая производительность. На основе этой информации она выбирает следующую модель, которая может показать лучшие результаты.

Каждая модель представляется в виде своеобразной «единицы информации» с переменными: алгоритм, гиперпараметры, производительность. Переменные отображаются на соответствующих графиках и схемах. Далее, инженеры могут вручную править эти параметры и в реальном времени мониторить изменения в интеллектуальной системе.

Интерфейс инструмента инженеры MIT показали в следующем видео ^[15]. В нем же они разобрали несколько юзкейсов.

Контрольная панель ATMSeer дает возможность ^[16] управлять процессом обучения и загружать новые своды данных. Там же отображаются показатели производительности всех моделей по шкале от нуля до десяти.

Перспективы

Инженеры говорят, что новый инструмент поспособствует развитию области машинного обучения, сделав работу с интеллектуальными алгоритмами более прозрачной. Ряд специалистов по МО уже отметили ^[12], что с ATMSeer они более уверены в корректности своих моделей, сгенерированных AutoML.

Также новая система поможет компаниям удовлетворить требования GDPR. Общий регламент по защите данных требует от алгоритмов машинного обучения прозрачности ^[17]. Разработчики интеллектуальной системы должны быть в состоянии объяснить принимаемые алгоритмами решения. Это нужно ^[18] для того, чтобы пользователи в полной мере могли понять, как система обрабатывает их персональные данные.

/ Unsplash / Esther Jiao ^[19]

В будущем можно ожидать появления большего числа инструментов, позволяющих заглянуть в черный ящик. К примеру, инженеры из MIT уже работают ^[9] над еще одним решением. Оно поможет студентам-медикам тренировать навыки составления анамнеза.

Кроме MIT, в этой области работает IBM. Совместно с коллегами из Гарварда они представили инструмент Seq2Seq-Vis. Он визуализирует ^[20] процесс принятия решений при машинном переводе с одного языка на другой. Система показывает, как каждое слово в исходном и конечном тексте связано с примерами, на которых обучалась нейросеть. Так, проще определить, произошла ли ошибка из-за неправильных исходных данных или алгоритма поиска.

Инструменты, которые делают алгоритмы машинного обучения более прозрачными, также найдут применение в сфере ITSM ^[21] при внедрении службы Service Desk. Системы помогут с обучением интеллектуальных чат-ботов, и позволят избежать ситуаций, когда те ведут себя не так, как задумано ^[22].

Автор: it-guild

Источник ^[28]