Как эффективно работать с json в R?
Является продолжением предыдущих публикаций.Читать полностью »
Рубрика «data mining»
Швейцарский нож для обработки json
2019-04-22 в 7:37, admin, рубрики: big data, data mining, data science, RКак начать применять R в Enterprise. Пример практического подхода
2019-04-22 в 7:19, admin, рубрики: big data, data mining, data science, RПубликация по выступлению на секции R meetup @ Moscow Data Science Major (Spring 2019).
Вся презентация в pdf формате.
Почему этот вопрос актуален?
Бизнес-кейсы различны, техническая суть одинакова
- Аналитика работы колл-центра
- Аналитика продаж, включая прогнозы
- Антифрод системы
- Business process mining
- Различные аудиты (технические, финансовые)
- Складские и логистические задачи
- Activity-based costing
- Business-process monitoring
- Log-based аналитика
- Capacity management
- Текстовая аналитика (e-mail, service-desk)
- "Гибкие" дашборды и отчеты
- "интеллектуальные шины" между учетными системами (1С, СКУД, SAP, ...) и исполнительными
- ...
Является продолжением предыдущих публикаций.Читать полностью »
Об удалении тренда из экспериментальных данных
2019-04-21 в 10:53, admin, рубрики: data mining, Алгоритмы, дрейф нуля, математика, метод наименьших квадратов, препроцессинг данных, стационарный процесс, тренд, удаление трендаПри анализе экспериментально полученных стационарных временных рядов, как правило, при предварительной подготовке (препроцессинге) данных возникает необходимость в подавлении имеющегося в них тренда.
Здесь будет предложен «новый» метод выделения тренда — простой, очевидный и пригодный для очень сложных видов тренда.
Под трендом обычно понимают сверхнизкочастотную негармоническую компоненту, резко нарушающую стационарность процесса. Наиболее частой причиной тренда в экспериментально полученных данных является «дрейф нуля» регистрирующей аппаратуры. Интегрирование данных и некоторые другие виды обработки также могут стать причиной появления тренда. Наличие тренда сильно искажает результаты последующей обработки данных (спектральное оценивание и т.п.), поэтому удаление тренда является необходимым. В ряде случаев сам тренд является ценным источником информации (например, при анализе долгосрочных тенденций в экономических или метео- процессах).
Рис. 1. Выделение и удаление тренда.
Читать полностью »
SNA Hackathon 2019 — итоги
2019-04-17 в 8:16, admin, рубрики: big data, data mining, kaggle, machine learning, snahackathon, Блог компании Одноклассники, машинное обучение
1-го апреля завершился финал SNA Hackathon 2019, участники которого соревновались в сортировке ленты социальной сети с использованием современных технологий машинного обучения, компьютерного зрения, обработки тестов и рекомендательных систем. Жесткий онлайн отбор и двое суток напряженной работы над 160 гигабайтами данных не прошли даром :). Рассказываем о том, что помогло участникам прийти к успеху и о других интересных наблюдениях.
Об авторегрессионном оценивании спектральной плотности стационарного сигнала
2019-04-14 в 17:03, admin, рубрики: arma, data mining, автокорреляция, Алгоритмы, бпф, математика, передаточная функция, спектральная плотность, цифровой фильтрМетоды спектрального оценивания стационарных случайных процессов, основанные на быстром преобразовании Фурье (БПФ), хорошо известны и широко применяются в инженерной практике. К их недостаткам следует отнести, в частности, высокую дисперсию (низкую точность) оценки при недостаточно длительном интервале наблюдения за процессом, что визуально обычно проявляется в сильной «изрезанности» графика спектральной плотности мощности(СПМ). Одним из альтернативных методов спектрального оценивания является авторегрессионный метод, рассмотренный на примере ниже, который в инженерной практике известен гораздо меньше. Метод во многих случаях позволяет сравнительно просто получить гораздо более качественную оценку СПМ (рис.1), а иногда и более глубокие сведения об исследуемом случайном процессе.
Рис.1 Классическая и авторегрессионная оценка СПМ «короткого» процесса
Читать полностью »
Узнать возраст пользователя VK или о чём ещё может рассказать социальный граф
2019-04-13 в 16:51, admin, рубрики: data mining, анализ графов, Вконтакте, Вконтакте API, гадалка возраста, Социальные сети и сообщества, социальный граф, чат-бот«Скажи мне кто твой друг и я скажу, кто ты.»
Еврипид 480—406 до н. э.
Долгое время я смотрел на API VK как кот на стиральную машину — меня гипнотизировала возможность провести какое-нибудь исследование в одной из крупнейших социальных сетей, которая проникла во многие сферы нашей жизни. И вот однажды родился вопрос, а можно ли по кругу общения пользователя социальной сети определить его возраст?
Профессиональная деформация дата саентистов
2019-04-11 в 11:03, admin, рубрики: data mining, data science, Блог компании Open Data Science, Карьера в IT-индустрии, мир вокруг нас, мозг, Научно-популярное, рациональное мышление
“Если в ваших руках молоток, все вокруг кажется гвоздями”
Как практикующие дата саентисты мы занимаемся анализом данных, их сбором, очисткой, обогащением, строим и обучаем модели окружающего мира, основываясь на данных, находим внутренние взаимосвязи и противоречия между данными, порою даже там, где их нет. Безусловно такое погружение не могло не сказаться на нашем видении и понимании мира. Профессиональная деформация присутствует в нашей профессии точно также, как и в любой другой, но что именно она нам приносит и как влияет на нашу жизнь?
О применении теории ARMA-процессов в инженерной практике
2019-04-11 в 10:33, admin, рубрики: arma, data mining, Алгоритмы, математика, передаточная функция, спектральная плотность, стационарный процесс, цифровой фильтрНиже будет сказано несколько слов об известной вообще, но, чаще всего довольно неожиданной для инженерных работников дискретно-временной альтернативе математическим моделям в виде линейных дифференциальных уравнений, а именно, моделям авторегрессии — скользящего среднего, и весьма необычным перспективам такого моделирования, возможности которого значительно превышают то, что привыкли получать от ЛДУ.
В списке потенциальных возможностей технологии — анализ систем с недоступным для наблюдения входящим возмущением, определение резонансных свойств таких систем, спектра и самого процесса внешнего возбуждения, спектральное оценивание процессов по их коротким реализациям, моделирование поведения систем при малой частоте дискретизации по времени и т.п.
Прорабатываем навык использования группировки и визуализации данных в Python
2019-04-09 в 16:36, admin, рубрики: data mining, python, Блог компании Mail.Ru Group, визуализация данных, визуализация питон кода, данные, навыки программирования
Привет!
Сегодня будем прорабатывать навык использования средств группирования и визуализации данных в Python. В предоставленном датасете на Github проанализируем несколько характеристик и построим набор визуализаций.
По традиции, в начале, определим цели:
- Сгруппировать данные по полу и году и визуализировать общую динамику рождаемости обоих полов;
- Найти самые популярные имена за всю историю;
- Разбить весь временной промежуток в данных на 10 частей и для каждой найти самое популярное имя каждого пола. Для каждого найденного имени визуализировать его динамику за все время;
- Для каждого года рассчитать сколько имен покрывает 50% людей и визуализировать (мы увидим разнообразие имен за каждый год);
- Выбрать 4 года из всего промежутка и отобразить для каждого года распределение по первой букве в имени и по последней букве в имени;
- Составить список из нескольких известных людей (президенты, певцы, актеры, киногерои) и оценить их влияние на динамику имен. Построить наглядную визуализацию.
Меньше слов, больше кода!
И, поехали.
Читать полностью »
От Тулы до Берлина: анализ городов по Instagram
2019-04-07 в 21:41, admin, рубрики: data mining, визуализация данных, путешествия
Ни для кого не секрет, что в инстаграме можно найти фотографии любого крупного города. Что, если мы попробуем по фрагментам восстановить картину целиком? Полученная информация поможет составить представление о незнакомых местах и будет полезна путешественникам, дополняя традиционные путеводители.
Читать полностью »