Привет! (И тебе, HR, который ставит в вакансию «Python, SQL, Linux, Docker, K8s, Spark, Airflow, английский C1, опыт 1-3 года, зарплата 40-60К». Особенно тебе.)
Сегодня будем препарировать рынок Python-разработки в России. По-настоящему. С графиками, цифрами и верой в светлое будущее.
Поехали.
P.S Если вводная часть того как я анализировал не интересна смело переходи к главе 2, не мучай себя избыточной информацией))
Куда бы вы ни посмотрели, вы везде наткнётесь на похожую на колокол кривую – Читать полностью »
Добрый день, дорогие любители аналитики!
А/В тестирование - это инструмент, который позволяет с помощью экспериментов увеличить прибыль компании, привлечь новых пользователей и выбрать наиболее эффективный канал рекламы.
Вы сформулировали гипотезу, определились как оцените результаты и теперь нужно правильно определить размер выборки.
Рассмотрим полезный инструмент для А/В тестирования — калькулятор Эвана Миллера.
Бабушкин телевизор работает уже сорок лет. Дед ездит на жигулях, видевших мороженое за пять копеек. Отцовский перфоратор пережил десяток ремонтов - и хоть бы что. А твой новый ноутбук умер на третий год, смартфон не держит заряд к концу дня, и Cloudflare лёг третий раз за месяц.
Раньше делали на совесть. Это же очевидно.
Нет.
Допустим, вас не устраивает ваше качество сна. Вы перестали делать очевидно вредные вещи (убрали кофе на ночь), и сон улучшился, но хотелось бы поработать над ним ещё. Коллега по работе даёт вам смесь трав со зверобоем и лавандой. Вы пробуете пить его на ночь вместо кофе, и вроде бы иногда сон действительно становится глубже, чем раньше. Но иногда нет. Вы готовы экспериментировать, но как бы проверить, действительно ли травы работают или это просто случайный разброс?
Для запуска А/В теста необходимым минимумом является фиксация ошибок первого и второго рода, расчет MDE (минимальный наблюдаемый эффект). Однако при расчете результатов теста далеко не всегда получается достичь MDE заданного размера, в таком случае вероятность достижения значимости значительно уменьшается. Помимо этого даже при статистически значимом результате существует вероятность ошибки, что наши результаты являются выбросом или просто случайностью. В таких случаях необходимо применить дополнительный арсенал инструментов для работы с данными.
Привет! Меня зовут Черняховский Денис, и я Data Engineer. Я достаточно продолжительное время работаю с данными и увлекаюсь математической статистикой. Совсем недавно решил поискать в интернете, как другие опытные дата-инженеры исследуют качество данных при помощи статистики, и обнаружил, что никак… пум-пум-пум. А далее обнаружил, что проблема уходит корнями гораздо глубже, чем может показаться.
В этой статье я постараюсь рассказать:
почему дата-инженерам необходимо использовать статистику и почему её не используют
проведём тесты на реальных примерах данных
Это самый старый и эффективный трюк в книге «Как лгать при помощи статистики». Если вам нужно создать драму на ровном месте или превратить стагнацию в «невероятный рывок» — просто отрежьте нижнюю часть графика.
Механика обмана
В нормальном состоянии ось Y (вертикальная шкала) должна начинаться с нуля. Это дает нам точку отсчета. Манипулятор же начинает отсчет не с 0, а с числа, которое вплотную приближено к значениям данных. Например, если ваши показатели колеблются между 90 и 95, вы начинаете шкалу с 89.
Почему наш мозг на это покупается?
Читать полностью »
