Заглянуть в черный ящик — новая система от MIT покажет, как работают алгоритмы машинного обучения

в 14:41, , рубрики: MIT, Алгоритмы, Анализ и проектирование систем, Блог компании ИТ Гильдия, машинное обучение, системы ии

В MIT представили интерактивный инструмент, который дает понять, почему интеллектуальная система принимает то или иное решение. В этом материале — о том, как он работает.

Заглянуть в черный ящик — новая система от MIT покажет, как работают алгоритмы машинного обучения - 1
/ Unsplash / Randy Fath

Проблема черного ящика

Автоматизированные системы машинного обучения (AutoML) многократно тестируют и модифицируют алгоритмы и их параметры. Используя метод обучения с подкреплением, такие системы выбирают ИИ-модели, которые больше других подходят для решения той или иной задачи. Например, для автоматизации службы технической поддержки. Но AutoML-системы действуют как черные ящики, то есть их методы скрыты от пользователей.

Эта особенность значительно усложняет отладку алгоритмов машинного обучения. И, например, в случае с системами автопилотирования, последствия могут быть фатальными. В 2016 году Tesla на автопилоте впервые стала участником смертельного ДТП, столкнувшись с большим грузовиком. Причина аварии достоверно неизвестна. У экспертов есть только предположение — алгоритм перепутал высокий грузовик с дорожным знаком, установленном на нижнем крае эстакады. И ошибку до сих пор не устранили — в начале марта в США вновь произошла аналогичная авария.

Чтобы объяснить, как машинный алгоритм пришел к тому или иному выводу, инженеры используют апостериорные методики или интерпретируемые модели вроде деревьев решений. В первом случае входные и выходные данные используют для аппроксимации «мыслительного процесса» алгоритма. Точность таких методик оставляет желать лучшего.

Деревья решений — более точный подход, но работает только с категорированными данными. Поэтому для сложных проблем компьютерного зрения неудобен.

Исправить ситуацию решили инженеры из MIT, Гонконгского университета науки и технологии и Чжэцзянского университета. Они представили инструмент для визуализации процессов, происходящих внутри черного ящика. Его назвали ATMSeer.

Как работает система

ATMSeer построен на базе Auto-Tuned Models (ATM). Это — автоматизированная система машинного обучения, которая ищет наиболее эффективные модели для решения конкретных задач (например, поиск объектов). Система произвольным образом выбирает тип алгоритма — нейросеть, деревья решений, «случайный лес» или логистическая регрессия. Таким же образом определяет гиперпараметры модели — размер дерева или число слоев нейронной сети.

ATM проводит серию экспериментов с тестовыми данными, автоматически подстраивая гиперпараметры и оценивая производительность. На основе этой информации она выбирает следующую модель, которая может показать лучшие результаты.

Каждая модель представляется в виде своеобразной «единицы информации» с переменными: алгоритм, гиперпараметры, производительность. Переменные отображаются на соответствующих графиках и схемах. Далее, инженеры могут вручную править эти параметры и в реальном времени мониторить изменения в интеллектуальной системе.

Интерфейс инструмента инженеры MIT показали в следующем видео. В нем же они разобрали несколько юзкейсов.

Контрольная панель ATMSeer дает возможность управлять процессом обучения и загружать новые своды данных. Там же отображаются показатели производительности всех моделей по шкале от нуля до десяти.

Перспективы

Инженеры говорят, что новый инструмент поспособствует развитию области машинного обучения, сделав работу с интеллектуальными алгоритмами более прозрачной. Ряд специалистов по МО уже отметили, что с ATMSeer они более уверены в корректности своих моделей, сгенерированных AutoML.

Также новая система поможет компаниям удовлетворить требования GDPR. Общий регламент по защите данных требует от алгоритмов машинного обучения прозрачности. Разработчики интеллектуальной системы должны быть в состоянии объяснить принимаемые алгоритмами решения. Это нужно для того, чтобы пользователи в полной мере могли понять, как система обрабатывает их персональные данные.

Заглянуть в черный ящик — новая система от MIT покажет, как работают алгоритмы машинного обучения - 2
/ Unsplash / Esther Jiao

В будущем можно ожидать появления большего числа инструментов, позволяющих заглянуть в черный ящик. К примеру, инженеры из MIT уже работают над еще одним решением. Оно поможет студентам-медикам тренировать навыки составления анамнеза.

Кроме MIT, в этой области работает IBM. Совместно с коллегами из Гарварда они представили инструмент Seq2Seq-Vis. Он визуализирует процесс принятия решений при машинном переводе с одного языка на другой. Система показывает, как каждое слово в исходном и конечном тексте связано с примерами, на которых обучалась нейросеть. Так, проще определить, произошла ли ошибка из-за неправильных исходных данных или алгоритма поиска.

Инструменты, которые делают алгоритмы машинного обучения более прозрачными, также найдут применение в сфере ITSM при внедрении службы Service Desk. Системы помогут с обучением интеллектуальных чат-ботов, и позволят избежать ситуаций, когда те ведут себя не так, как задумано.


Материалы из нашего корпоративного блога:

И блога на Хабре:

Автор: it-guild

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js