Рубрика «метрики»
Метрики, которые нас обманывают
2025-04-23 в 18:16, admin, рубрики: UX, ux design, ux дизайн, метрики, продуктовый дизайн
Все ли волки страшные: AUF или как приручить uplift?
2025-03-28 в 9:41, admin, рубрики: data science, machine learning, open source, python, uplift, uplift modeling, uplift modelling, библиотека, визуализации, метрикиВсем привет! Меня зовут Мельников Виктор, я работаю Junior Data Scientist в хабе Розничного Бизнеса Департамента Продвинутой Аналитики в Альфа-Банке. В этой статье я расскажу про AUF — Open Source библиотеку Альфа-Банка.
Её главная задача — автоматическое решение задач uplift-моделирования.
Позволяет ускорять разработку в десятки раз и убирает рутину, избавляя от привычного fit-predict. Приятным бонусом идёт полный отчёт по качеству модели, понятный как DS, так и бизнесу.
ДисклеймерЧитать полностью »
Как внедрить наблюдаемость в микросервисное приложение с помощью OpenTelemetry, Jaeger и Prometheus
2024-12-10 в 8:15, admin, рубрики: devops, node.js, prometheus, метрики, микросервисы, телеметрия, трассировкиСовременные веб-приложения всё чаще строятся по микросервисной архитектуре. Это даёт гибкость, масштабируемость и изоляцию компонент, но одновременно усложняет отладку, мониторинг и понимание работы системы в целом. Что, если один из сервисов начинает работать медленнее? Как понять, где в цепочке запросов «узкое место»? Как быстро определить причину сбоя или деградации производительности?
Здесь на сцену выходит концепция наблюдаемостиЧитать полностью »
Метрики для технологий письменного общения
2024-12-06 в 10:56, admin, рубрики: дискурс, дискурсивные техники, коммуникация, метрики, метрики качества, общение, письменность, социология, текст, теория коммуникацииПредлагаются метрики для оценки общения при помощи текста. Делается вывод, что по большинству метрик в интернете нет прогресса по сравнению с временами бумажного общения.
Человек и LLM: как построить метрики для оценки моделей
2024-11-28 в 7:02, admin, рубрики: llm, ml, ml-метрики, бенчмарки, машинное обучение, метрики, нейросети, оценка качества, языковые модели
Привет, меня зовут Ирина Барская, и я руководитель службы аналитики и исследований в Яндексе. А это значит, что я и моя команда каждый день думаем, как оценивать качество работы генеративных моделей, какие при этом смотреть метрики, как вообще понять, хорошая ли модель у нас получилась.
Я угадаю, что рабочий цеха хочет ввести, с трёх букв
2024-11-21 в 11:00, admin, рубрики: завод, интерфейсы, комментарии, метрики, простои, регистрация простоев
У нас есть система регистрации простоев оборудования. В ней рабочему нужно ввести комментарий о причине простоя вручную. А нам потом надо собирать статистику по этим данным для анализа, как работал цех и что приводило к простоям.
Рабочие вводят причины простоя разными словами, от души. «Шланг порвался», «они не успевают дать продукцию», «безобразно обрезана кромка» — это ещё цветочки. Одно только слово «железнодорожный» можно написать десятками способов — жд, Жд, ЖД, ж/д, жд, ж /д, ж д, Ж д, ЖД!!! — и так далее. С вывернутыми слешами, двойными пробелами и другими творческими формулировками.
В базе 13 миллионов записей, из них 700 тысяч уникальных, из которых остаётся примерно 500 тысяч после нормализации по регистру, слешам, пробелам и т. п. А нам нужно как-то разобраться, что не так и с кем.
Если вы сейчас думаете про ML, LLM и прочие модные слова, я вас огорчу. Оказалось, что есть простой кондовый способ, если применить немного ТРИЗа. В итоге получилось, что мы умудрились и рабочим сделать намного удобнее (что вообще-то редкость в реалиях производства), и дико помочь аналитикам. Читать полностью »
Потребление ресурсов в Prometheus: кто виноват и что делать (обзор и видео доклада)
2024-10-14 в 6:40, admin, рубрики: deckhouse, devops, devopsconf, Lables, mimirtool, monitoring, prometheus, tsdb, метрики, потребление ресурсовПривет! На связи Владимир Гурьянов, технический директор Deckhouse Observability Platform в компании «Флант». В своём докладе на DevOpsConf 2024 я провёл небольшое расследование и выяснил, кто виноват в том, что Prometheus «съел» 64 ГБ оперативной памяти на сервере. А главное — я разобрался, что нужно делать, чтобы избегать этого в будущем. В этой статье приведу основные размышления и выводы из доклада.
В геометрии для описания параметров геометрических фигур в обычной Евклидовой геометрии используются такие параметры, как длина и угол. Но как только мы переходим из плоскости нашей Евклидовой геометрии в другие модели описания точек в пространстве, то замечаем, что для описания параметр длины описывается через понятия метрики или нормы. И именно метрические параметры дают нам более общие связи, хотя для их описания применяются более сложные модели.
Проектируем А-Б-эксперименты грамотно
2024-09-30 в 13:02, admin, рубрики: ab testing, product management, АБ-тесты, метрики
Проектирование A/B-экспериментов может быть сложным процессом, особенно для тех, кто только начинает работать с аналитикой и тестированием в мобильных приложениях. Нередко возникают проблемы с формулировкой гипотез, выбором метрик и определением оптимального распределения аудитории.
Вычисляем Вес в приросте в Superset
2024-08-26 в 9:29, admin, рубрики: BI, jinja, sql, superset, анализ продаж, вес в приросте, метрики, шаблонизацияСегодня я продолжу знакомить вас с нестандартными задачами, которые появляются в моей работе, и способами их решения.
За информацию из этой статьи, я был готов заплатить деньги, убить или сходить на концерт Шамана.
Уверен, что мой рассказ будет полезен не только пользователям Superset, но и всем аналитикам, которые используют SQL в своей работе и учёбе.
Не буду рассказывать про базовое построение таблиц на BI системе Superset, с этим прекрасно справятся тонны видео на ютубе и бесполезные курсы (про которые я писал ранееЧитать полностью »