В этой статье я наглядно покажу, как именно работает алгоритм CMA-ES для Optuna. Статья подойдет тем, кто не хочет долго копаться в английской документации и хотел бы посмотреть на оптимизацию наглядно.
Optuna - библиотека для оптимизации гиперпараметров. Вместо полного перебора она использует историю своих прошлых попыток, чтобы предполагать, какие значения параметров сработают лучше - например, уменьшат лосс или оптимизируют метрики recall, precission и др.
Представьте, что вам сказали: «Этого не существует, просто запомни».
Многие из вас слышали это в школе или в вузе, когда речь зашла о корне из минус единицы. О комплексных числах вам говорили как о воображаемых и предлагали с ними работать абстрактно, как с математической фикцией, которой нет в природе.
У многих это вызвало определенную травму, ошибочное отношение к комплексным числам как к какой-то изобретенной людьми вещи, которой нет в природе. Но они были обмануты.
«Суть математики не в том, чтобы делать простые вещи сложными, а в том, чтобы делать сложные вещи простыми».
— С. Гуддер
Вы когда-нибудь задумывались, почему в компьютерных играх объекты иногда проваливаются сквозь текстуры? Или почему финансовые модели так сложны, когда пытаются предсказать курс акций, который кажется то плавным, то скачущим? В основе этих, казалось бы, разных проблем лежит одна и та же фундаментальная идея, над которой бились величайшие умы человечества более двух тысяч лет. Идея непрерывности.
Замечательный метод МНК появился в недрах астрономии (точной науки), здесь мы покажем как можно существенно улучшить его оценки в гуманитарных (неточных) науках.
Сперва приведем реальный пример, демонстрацию способа уточнения МНК. Летом 2024 года я вычислил курс доллара в Казахстане на полгода вперед. И написал об этом статью здесь же - https://habr.com/ru/articles/823852/ (все даты реальные, я не хакер, Хабр взломать не смогу:)).
Этот прогноз сбылся, вот график курса тенге за второе полугодие 2024 года:
Группа математиков из Вены разрабатывает инструменты для расширения возможностей общей теории относительности.
В октябре 2015 года молодой математик Клеменс ЗеманнЧитать полностью »
«Вспоминаю, как в 7-м классе ничего не понимал, когда мы начинали разбирать тригонометрию. С учителем мы не смогли найти общий язык, поэтому к 8–9-му классу я был уверен, что никогда не буду заниматься математикой, а уж тем более сидеть по несколько часов в день, утыкаясь в учебники Беклемишева или Кожевникова и параллельно просматривая лекции Физтеха…»
На просторах англоязычного Интернета нашел еще одну вдохновляющую (лично меня по-крайней мере) статью. Машинный перевод, как всегда, оставляет желать лучшего, так что, как всегда, делюсь со всеми интересующимися своим авторским переводом. Оригинал Читать полностью »
Было у отца два сына. И оставил он им наследство — камень драгоценный. А чтобы никого не обидеть, поставил он перед сыновьями условие: нельзя тот камень ни пилить, ни продавать. Можно только по очереди владеть им. И повелось так — каждый год камень переходил от одного брата к другому. Потом камнем по очереди владели их потомки, потом потомки их потомков… И длилось так вечно.
