- PVSM.RU - https://www.pvsm.ru -
Я размышлял, в основном с точки зрения преподавателя, о том, как научить отлаживать модели машинного обучения. Лично мне кажется полезным рассмотреть модель с точки зрения ошибок разного рода: байесовская ошибка (насколько ошибочен лучший из возможных классификаторов), ошибка аппроксимации (что мы потеряем из-за ограничения класса гипотезы), ошибка оценки (связанная с ограниченной длиной выборки), ошибка оптимизации (что случится, если не найти глобальный оптимум для задачи оптимизации). Я понял, что полезно попытаться отнести ошибку к определенной области, а потом устранять недостатки в этой конкретной области.
Например, моя обычная стратегия по устранению ошибок состоит из следующих шагов:
Проблема в том, что обычный разбор в терминах ошибок пришел из теории, а теории свойственно упускать из виду некоторые вещи из-за определенного уровня абстракции. Обычно абстракции приходится иметь дело с тем фактом, что итоговая цель уже была приведена к задаче iid [1] (гипотеза простой выборки) / PAC learning [2] (теория вероятно почти корректного обучения), поэтому мы не можем видеть все типы ошибок — их скрывает абстракция.
Чтобы лучше понимать, о чем идет речь, я построил блок-схему, которая охватывала бы все известные мне типы ошибок, которые могут закрасться в машинное обучение.
Блок-схема приведена ниже.
Я постарался дать шагам приемлемые имена (левая часть прямоугольников), а затем привести пример из реальной жизни — из области размещения рекламы. Пройдемся по всем шагам и рассмотрим, какие ошибки могут возникать на каждом из них.
(Небольшое замечание: хотя и расположил шаги в определенном порядке, не обязательно этого порядка придерживаться, многие стадии можно поменять местами. Кроме того, в этом процессе работы над улучшением системы может быть множество итераций и зависимостей).
Некоторые из упомянутых аспектов еще находятся на стадии исследования. Такие проблемы как погрешности при выборе образца, адаптация предметной области, ковариационный сдвиг, могут быть вызваны несоответствием между обучающими и тестовыми данными. Например, если классификация обучающей выборки работает правильно, а обобщение — ужасно, я часто пробую случайным образом перемешивать тестовую и обучающую выборки и проверять, не станет ли обобщение работать лучше. Если нет, скорее всего, мы имеем дело в ошибкой адаптации.
Когда разрабатывают новые метрики для оценки моделей (такие, как Bleu [3] для машинного перевода), стараются принимать во внимание их соответствие конечной цели (подобно описанному в пункте 10).
Литература по теме:
О, а приходите к нам работать? :)wunderfund.io [6] — молодой фонд, который занимается высокочастотной алготорговлей [7]. Высокочастотная торговля — это непрерывное соревнование лучших программистов и математиков всего мира. Присоединившись к нам, вы станете частью этой увлекательной схватки.Мы предлагаем интересные и сложные задачи по анализу данных и low latency разработке для увлеченных исследователей и программистов. Гибкий график и никакой бюрократии, решения быстро принимаются и воплощаются в жизнь.
Присоединяйтесь к нашей команде: wunderfund.io [6]
Автор: Wunder Fund
Источник [8]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/algoritmy/238798
Ссылки в тексте:
[1] iid: https://ru.wikipedia.org/wiki/%D0%9D%D0%B5%D0%B7%D0%B0%D0%B2%D0%B8%D1%81%D0%B8%D0%BC%D1%8B%D0%B5_%D0%BE%D0%B4%D0%B8%D0%BD%D0%B0%D0%BA%D0%BE%D0%B2%D0%BE_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D1%91%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D1%8B%D0%B5_%D0%B2%D0%B5%D0%BB%D0%B8%D1%87%D0%B8%D0%BD%D1%8B
[2] PAC learning: https://en.wikipedia.org/wiki/Probably_approximately_correct_learning
[3] Bleu: https://en.wikipedia.org/wiki/BLEU
[4] The Seven Steps of a Data Project; Alivia Smith: https://www.opendatascience.com/blog/the-7-steps-of-a-data-project/
[5] Machine Learning: The High Interest Credit Card of Technical Debt; Sculley et al.: http://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43146.pdf
[6] wunderfund.io: http://wunderfund.io
[7] высокочастотной алготорговлей: https://en.wikipedia.org/wiki/High-frequency_trading
[8] Источник: https://habrahabr.ru/post/320482/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best
Нажмите здесь для печати.