Рубрика «big data» - 119

Привет!

Пример Feature Engineering в машинном обучении - 1

В одной из прошлых статей мы познакомились с таким понятием как Feature Engineering и применением его на практике. В комментариях было озвучено пожелание показать на примере, как искусство генерации признаков помогает заметно улучшить качество алгоритмов машинного обучения. Я поискал задачи, в которых бы это можно было наглядно продемонстрировать и нашел один хороший пример. Это задача Forest Cover Type Prediction. Покажем, как можно применяя простые идеи, не содержащие в себе машинное обучение, сразу попасть в топ 10% Leader Board!
Читать полностью »

Сегодня я рад презентовать на Хабре образовательную программу «Специалист по большим данным» — интенсивный трехмесячный курс «Лаборатории новых профессий» для разработчиков и экспертов по IT-инфраструктуре, которые хотят войти в быстро в растущую индустрию Big Data.

«Специалист по большим данным»: учебная программа от «Лаборатории новых профессий» - 1 Читать полностью »

Если вы когда-нибудь читали раздел помощь на Хабре, то наверняка видели там прелюбопытнейшую строчку:

Допустим, вы написали публикацию с рейтингом +100 — это добавило к вашему персональному рейтингу величину Х. Через несколько десятков дней этот самый Х вычтется, тем самым вернув вас на прежнее место.

то наверняка задавались вопросом, что это за Х и с какого он района чему он равен?

Сегодня мы ответим на этот вопрос.

Расшифровываем формулу Хабра-рейтинга или восстановление функциональных зависимостей по эмпирическим данным - 1
(измеряем Хабра-рейтинг в попугаях)

Структура статьи:

  1. Аналитический вывод
  2. Регрессия
  3. Исключения
  4. Устойчивая регрессия
  5. Скрипт и данные
  6. Почему скрывать функцию бесполезно
  7. Что с этим можно сделать?
  8. Интерпретация формулы

Читать полностью »

Обзор наиболее интересных материалов по анализу данных и машинному обучению №33 (26 января — 1 февраля 2015) - 1
Представляю вашему вниманию очередной выпуск обзора наиболее интересных материалов, посвященных теме анализа данных и машинного обучения.
Читать полностью »

Музыка как big data. Почему вместо качества звука надо задуматься об удобстве - 1Никогда еще музыкальная индустрия не была столь развита технически. Ассортимент, доступность, простота, дешевизна: в общем рай для меломана. Или ад. Никогда еще музыкальная индустрия не раздражала так сильно тех, кто приносит им больше всего денег. Почему так? Много разных людей и компаний, преследуя свои, подчас диаметрально противоположные интересы, низвели музыку до статуса фонового шума, в котором почти отсутствует полезный сигнал. Имея на руках смартфон с дешевым, неограниченным, моментальным доступом к десяткам миллионов песен мы перестали музыку ценить. Или не перестали?

Главная идея моего предыдущего поста по про качество и кайф сводилась к тому, что я не аудиофил. Я меломан. Я люблю музыку, трачу на нее много времени и денег, как на сами песни, так и на устройства и программы для их прослушивания. Для меня это не фон. Я изучаю историю любимых исполнителей, стараюсь пополнять коллекцию новыми альбомами, черпаю в музыке вдохновение и силы для работы и жизни. Так вот, в современном, наполненном под завязку различными технологиями мире, меломаном быть сложно.

Тему этой «сложности» я затронул в предыдущем посте, но очень поверхностно. Несмотря на это, дискуссия в комментариях вышла весьма интересная и полезная. А поэтому – продолжим! Что если вынести за скобки и качество звука, и стоимость? Что если оценивать плеер, наушники, колонки и усилитель исключительно по тому, насколько удобно ими пользоваться, и насколько хорошо они соответствуют Основным Принципам моего меломанства? Такой подход очень интересен и, увы, нечасто встречается. Сразу скажу, что «удобство» — это тема не для одного поста, но с чего-то надо начинать. Начну с тех самых принципов.
Читать полностью »

За последние несколько дней в экосистеме Microsoft произошло сразу три достаточно больших и серьезных события, между собой не связанные, но, так или иначе, имеющие принадлежность к сервисам в облаке и, что еще интересно, к науке и исследованиям. Для того, чтобы не писать три новости, мы решили объединить их в одну. Подробнее – под катом.

Итак:

  1. Open-source пакет для 3D-анимации Blender стал доступен для использования с нашей поддержкой в Microsoft Azure Batch – сервисе для осуществления серий расчетов в облаке.
  2. Microsoft достигла соглашения о приобретении Revolution Analytics – ведущего разработчика ПО и сервисов для R. Как известно, R – один из самых используемых языков для predictive analytics и статанализа. Соглашение с авторитетной в этой области компанией, имеющей большую экспертизу, означает новую функциональность и возможности для разработчиков.
  3. Анонс Power BI Preview – облачного сервиса для бизнес-аналитики для нетехнических бизнес-пользователей.

Читать полностью »

В этой статье я хочу рассказать про ещё один этап развития DWH в Тинькофф Банке.

Ни для кого не секрет, что требования к наличию Disaster Recovery (далее DR) в современных бизнес информационных системах относятся к категории «must have». Так, чуть более года назад, команде, занимающейся развитием DWH в банке, была поставлена задача реализовать DR для DWH, на котором построены как offline, так и online процессы банка.

Проект Dual ETL или как мы строили Disaster Recovery для Greenplum - 1

Читать полностью »

Мотивация

В данной статье вы познакомитесь c применением deep learning на практике. Будет использован фреймворк Caffe на датасете SVHN.

Deep Learning. Этот buzz word уже давно звенит в ушах, но попробовать его на практике никак не удавалось. Подвернулся удобный случай это исправить! На новогодние праздники был назначен контест на kaggle по распознаванию номеров домов в рамках курса по анализу изображений.
Читать полностью »

Кластеризация: расскажи мне, что ты покупаешь, и я скажу кто ты - 1

Задача Datawiz.io: провести кластеризацию клиентов программы лояльности в ритейле.

Кластеризация — это метод поиска закономерностей, предназначенный для разбиения совокупности объектов на однородные группы (кластеры) или поиска существующих структур в данных.

Целью кластеризации является получение новых знаний. Это как “найти клад в собственном подвале”.

Для чего это нужно компаниям? Чтобы лучше узнать своих клиентов. Чтобы найти индивидуальный подход к каждому клиенту, а не работать со всеми одинаково.
Читать полностью »

Привет!

Когда данных действительно много: Vowpal Wabbit - 1

В предыдущих двух постах (раз, два) мы расмотрели основные алгоритмы и техники, применяющиеся участниками соревнований Kaggle. Сегодня хотелось бы пойти дальше и поговорить про то, с какими трудностями встречаются исследователи при разработке алгоритмов в случае, когда данных очень много и обучаться приходится на выборках, которые не помещаются в память. Сразу стоит отметить, что это происходит довольно часто, даже на самом Kaggle (в данной задаче обучающая выборка имеет обьем в несколько гигабайт и новичку может быть просто не понятно, что с этим делать). Ниже мы рассмотрим алгоритмы машинного обучения и инструменты, справляющиеся с данной проблемой.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js