Рубрика «large scale machine learning»
Оптимизация гиперпараметров в Vowpal Wabbit с помощью нового модуля vw-hyperopt
2015-12-18 в 12:21, admin, рубрики: bayesian optimization, big data, classification, github, large scale machine learning, vowpal wabbit, Алгоритмы, байесовская оптимизация, Блог компании DCA (Data-Centric Alliance), гиперпараметры, машинное обучение, метки: bayesian optimization, classification, large scale machine learning, vowpal wabbit, байесовская оптимизация, гиперпараметрыПривет! В этой статье речь пойдет о таком не очень приятном аспекте машинного обучения, как оптимизация гиперпараметров. Две недели назад в очень известный и полезный проект Vowpal Wabbit был влит модуль vw-hyperopt.py, умеющий находить хорошие конфигурации гиперпараметров моделей Vowpal Wabbit в пространствах большой размерности. Модуль был разработан внутри DCA (Data-Centric Alliance).
Для поиска хороших конфигураций vw-hyperopt использует алгоритмы из питоновской библиотеки Hyperopt и может оптимизировать гиперпараметры адаптивно с помощью метода Tree-Structured Parzen Estimators (TPE). Это позволяет находить лучшие оптимумы, чем простой grid search, при равном количестве итераций.
Эта статья будет интересна всем, кто имеет дело с Vowpal Wabbit, и особенно тем, кто досадовал на отсутствие в исходном коде способов тюнинга многочисленных ручек моделей, и либо тюнил их вручную, либо кодил оптимизацию самостоятельно.
Читать полностью »