Рубрика «прогнозирование»

Секретные материалы

В 2014-м году я присоединился к небольшой команде в Schibsted Media Group в качестве 6-го специалиста по Data Science в этой компании. С тех пор я поработал над многими начинаниями в области Data Science в организации, в которой теперь таких уже 40 с лишним человек. В этом посте я расскажу о некоторых вещах, о которых узнал за последние четыре года, сперва как специалист, а затем как менеджер Data Science.

Этот пост следует примеру Robert Chang и его отличной статьи «Doing Data Science in Twitter», которую я нашел очень ценной, когда впервые прочитал ее в 2015-м году. Цель моего собственного вклада ― поведать настолько же полезные мысли специалистам и менеджерам Data Science по всему миру.

Я поделил пост на две части:

  • Часть I: Data Science в реальной жизни
  • Часть II: Управление командой Data Science

Читать полностью »

Многие время от времени задумываются — насколько точны прогнозы погоды? Чей прогноз погоды точнее? В какую сторону чаще всего ошибаются прогнозы для моего города?

Время математических приключений!

Чей прогноз погоды точнее? - 1

Читать полностью »

image

В данной статье речь пойдет про алгоритм прогнозирования направления движения цены валютных пар на несколько минут вперед. Многие считают, что цена абсолютно случайна, ее движение не поддается прогнозированию, либо что алгоритмическая торговля не способна давать эффективные прогнозы. Я решил провести исследование на большом объеме данных, что позволило выявить островки закономерностей, которые поддаются прогнозированию. В статье будет немного программного кода, описание алгоритма и статистика его тестирования за 34 месяца.
Читать полностью »

Осенью 2017 года в Сбертехе провели внутренний хакатон по машинному обучению. Один из победителей Николай Желтовский представил проект нейросети, которая прогнозирует даты завершения производственных задач. После этого мы решили попробовать ее на других задачах — прогнозировать дату закрытия и внутреннюю итоговую оценку проекта на основе анализа данных по закрытым проектам. Сейчас эта система вырастает в виртуального помощника, который будет помогать руководителям находить потенциальные проблемы в проектах и наилучшие способы их решения. В этом посте мы расскажем о технической реализации.
 
Как мы предсказываем дату окончания и оценку проекта с помощью нейросети - 1
Читать полностью »

Приглашаем на итоги конкурса по анализу данных - 1

В эту пятницу (15 декабря) мы приглашаем читателей Хабра присоединиться к онлайн трансляции награждения победителей конкурса по прогнозированию невозврата кредита. Состязание длилось 4 месяца, задача была предоставлена Банком Хоум Кредит (собственно, как и данные).

Мы наградим победителей и призеров, послушаем презентации их решений.

  • 1 место и Академический приз — Анзор Березгов
  • 2 место — Иван Тимошилов
  • 3 место — Александр Дьяконов
  • Приз SAS — Дарья Соболева

Читать полностью »

Сторителинг или искусство рассказывания историй – тема нынче модная. Есть множество курсов и вебинаров, где предлагают обучить нас этой науке. Но зачем? Какую роль играет это умение в нашей жизни? Для чего мы рассказываем истории?

В далеком прошлом, когда еще не существовало книг или они были редкостью, искусство рассказывать истории почиталось – оно служило основой образования того времени. Сказители, рунопевцы, скоморохи, трубадуры не только развлекали публику, они передавали знания. Облаченные в образную и ритмичную оболочку песен, легенд они буквально в-печат-ывались в сознание людей. Передавались не просто знания, а впечатления – знания с глубокой эмоциональной окраской, связанные в общую образную картинку, глубоко укореняющиеся в сознании. Этот процесс великолепно и художественно описан в романах Энн Макмерффи «Хроники Перна». Из множества таких образов складывалась картина мира – мировоззрение. А мировоззрение, во многом, определяет наши поступки. В конечном счете, истории — это то, что побуждает нас действовать определенным образом. Тот, кто рассказывает истории, управляет действиями, поступками, судьбой других людей.

Процесс управления – важная задача, искусство давно уже превратилось в науку и непрерывно развивается и совершенствуется. Давайте проследим основные этапы этого развития и попробуем спрогнозировать, что же ждать от него в будущем.
Читать полностью »

Splunk 7.0. Что нового? - 1

Месяц назад компания Splunk на своей 8-ой ежегодной конференции Splunk Conf 2017 презентовала выпуск нового мажорного релиза Splunk 7.0. В этой статье мы расскажем об основных нововведениях и улучшениях платформы, а также покажем пару примеров.
Читать полностью »

В начале зимы Яндекс.Погода научилась показывать, будут ли осадки в ближайшие два часа. Спустя пару месяцев тема метеопрогнозирования стала центральной на одном из мероприятий Data & Science. Среди докладчиков в тот день был Алексей Преображенский — разработчик из команды Яндекс.Погоды. Алексей рассказал о нашем алгоритме наукастинга и сверточной нейросети, лежащей в основе этого алгоритма.

Под катом — расшифровка лекции и слайды.

Читать полностью »

Обзор Splunk Machine Learning Toolkit - 1
Помимо того, что Splunk может собирать логи практически из любых источников и строить аналитические отчеты, дашборды, алерты на основе встроенного языка поисковых запросов SPL, о котором мы писали в предыдущих статьях, Splunk еще имеет очень большую базу бесплатных аддонов и приложений.

Сегодня мы рассмотрим одно из самых популярных, с точки зрения пользователей, приложений — Splunk Machine Learning Toolkit.
Читать полностью »

Есть много задач, для решения которых нейронные сети прямого распространения с сигмоидальной активационной функцией не являются оптимальными. Например — задачи распознавание бинарных изображений, с первичной обработкой с помощью преобразования Фурье. В ходе этих преобразований изображение становится инвариантным к смещениям, масштабированию и поворотам. Пример таких преобразований приведен ниже.[1] На выходе такой метод выдает вектор комплексных чисел. Современные нейронные сети не могут с ними работать т.к. они работают только с вещественными числами.
image
Читать полностью »