Сегодня мы покажем дашборд с визуализацией данных о динамике популярных сущностей, засетапим для пользователей хабра отдельный инстанс и дадим на нём возможность следить за собственными показателям, добавив регулярку.
Читать полностью »
Рубрика «data mining» - 45
Измеряем динамику упоминания сущностей в информационном поле
2017-08-22 в 10:55, admin, рубрики: big data, data mining, information retrieval, statoperator, text mining, web crawling, визуализация данных, открытые данные, Регулярные выраженияЦифровая экономика и экосистема R
2017-08-14 в 8:55, admin, рубрики: big data, data mining, data science, RЕсли смотреть прессу, словосочетание «цифровая экономика» ожидается одним из популярных в ближайшие несколько лет.
Но чтобы от перейти от слов к делу и действительно совершить цифровой скачок необходимо пересмотреть подходы и используемые инструменты. В рамках настоящей публикации, являющейся продолжением предыдущих публикаций, планирую кратко проиллюстрировать, тезис о том, что применение в бизнесе R экосистемы прекрасно вписывается в задачу перехода к цифровой экономике.
OpenDataScience и Mail.Ru Group проведут открытый курс по машинному обучению
2017-08-11 в 11:02, admin, рубрики: data analysis, data mining, education, machine learning, MOOC, python, Блог компании Mail.Ru Group, Блог компании Open Data Science, машинное обучение6 сентября 2017 года стартует 2 запуск открытого курса OpenDataScience по анализу данных и машинному обучению. На этот раз будут проводиться и живые лекции, площадкой выступит московский офис Mail.Ru Group.
Если коротко, то курс состоит из серии статей на Хабре (вот первая), воспроизводимых материалов (Jupyter notebooks, вот github-репозиторий курса), домашних заданий, соревнований Kaggle Inclass, тьюториалов и индивидуальных проектов по анализу данных. Здесь можно записаться на курс, а тут — вступить в сообщество OpenDataScience, где будет проходить все общение в течение курса (канал #mlcourse_open в Slack ODS). А если поподробней, то это вам под кат.
Школа Данных: хорошее мы сделали еще лучше
2017-08-11 в 7:35, admin, рубрики: big data, data mining, kaggle, R, sna, Алгоритмы, алгоритмы обработки данных, анализ данных, анализ социальных сетей, Блог компании Школа Данных, машинное обучение, рекомендательные системы, школа данных
Привет! Надеемся, этим летом не смотря на плохую погоду Вам удалось отдохнуть. Близится осень — самое время поучиться. С учетом предыдущих курсов — мы сильно обновили нашу программу — добавили множество практических занятий, больше говорим про практические кейсы. В этом посте хотелось бы подробно рассказать про все нововведения. Для тех, у кого мало времени:
- Снизилась цена
- 8 дополнительных практических семинаров
- Дополнительные занятия про бизнес
- Занятия по Deep Learning
- Доступно удаленное обучение
- Плюс 2 занятия в Вводном курсе
10 типов структур данных, которые нужно знать + видео и упражнения
2017-08-04 в 16:41, admin, рубрики: big data, data mining, map, Блог компании Нетология, визуализация данных, граф, графы, двоичная куча, двоичное дерево поиска, множества, нетология, открытые данные, очереди, префиксное дерево, связные списки, стеки, структуры данных, хэш, хэш-таблицыЕкатерина Малахова, редактор-фрилансер, специально для блога Нетологии адаптировала статью Beau Carnes об основных типах структур данных.
«Плохие программисты думают о коде. Хорошие программисты думают о структурах данных и их взаимосвязях», — Линус Торвальдс, создатель Linux.
Структуры данных играют важную роль в процессе разработки ПО, а еще по ним часто задают вопросы на собеседованиях для разработчиков. Хорошая новость в том, что по сути они представляют собой всего лишь специальные форматы для организации и хранения данных.
В этой статье я покажу вам 10 самых распространенных структур данных. Читать полностью »
Поиск лучшего места в мире для ветряка
2017-08-04 в 8:36, admin, рубрики: azure, big data, data mining, machine learning, renewable energy, wind energy, Геоинформационные сервисы, машинное обучение, открытые данные, сечин, метки: renewable energyИстория о том, как NASA, ESA, Датский Технологический Университет, нейронные сети, деревья решений и прочие хорошие люди помогли найти мне лучший бесплатный гектар на Дальнем Востоке, а также в Африке, Южной Америке и других “так себе” местах.
Генератор кликов на Python для программы Data Engineer
2017-08-03 в 8:39, admin, рубрики: big data, data engineering, data mining, python, selenium, Блог компании New Professions Lab, генератор кликовПроцесс разработки образовательной программы очень похож на процесс разработки нового продукта. И там, и там ты пытаешься вначале понять, а есть ли спрос на то, что ты собираешься производить? Существует ли в реальности та проблема, которую ты хочешь решить?
Предыстория
В этот раз для нас всё было довольно просто. Несколько выпускников нашей программы «Специалист по большим данным» в течение, наверное, года просили:
Сделайте для нас еще одну программу, где мы бы могли научиться работать с Kafka, Elasticsearch и разными инструментами экосистемы Hadoop, чтобы собирать пайплайны данных.
Потом со стороны работодателей стали «прилетать» запросы, которые собирательно можно описать так:
Data Engineer'ы – это очень горячие вакансии!
Реально их уже на протяжении полугода никак не можем закрыть.
Очень здорово, что вы обратили внимание именно на эту специальность. Сейчас на рынке очень большой перекос в сторону Data Scientist'ов, а больше половины работы по проектам – это именно инженерия.
С этого момента стало понятно, что спрос есть, и проблема существует. Надо бросаться в разработку программы!
Читать полностью »
Машинное обучение в горнолыжном спорте
2017-08-02 в 9:13, admin, рубрики: data mining, machine learning, ski, машинное обучение
В этой статье речь пойдет о возможностях применения машинного обучения для анализа биомеханики в горнолыжном спорте.
Изначально гипотеза об указанных возможностях свелась к следующему набору требований:
- способность классифицировать технические элементы;
- способность по определенной метрике сравнивать указанные элементы; находить нетривиальные особенности прохождения трассы, позволяющие минимизировать время;
- способность строить прогнозы (например, на вторую попытку).
Распознавание дорожных знаков с помощью CNN: Инструменты для препроцессинга изображений
2017-08-01 в 10:03, admin, рубрики: big data, data augmentation, data mining, Блог компании New Professions Lab, машинное обучение, обработка изображений, предобработка данных, распознавание изображенийПривет! Продолжаем серию материалов от выпускника нашей программы Deep Learning, Кирилла Данилюка, об использовании сверточных нейронных сетей для распознавания образов — CNN (Convolutional Neural Networks)
Введение
За последние несколько лет сфера компьютерного зрения (CV) переживает если не второе рождение, то огромный всплеск интереса к себе. Во многом такой рост популярности связан с эволюцией нейросетевых технологий. Например, сверточные нейронные сети (convolutional neural networks или CNN) отобрали себе большой кусок задач по генерации фич, ранее решаемых классическими методиками CV: HOG, SIFT, RANSAC и т.д.
Маппинг, классификация изображений, построение маршрута для дронов и беспилотных автомобилей — множество задач, связанных с генерацией фич, классификацией, сегментацией изображений могут быть эффективно решены с помощью сверточных нейронных сетей.
MultiNet как пример нейронной сети (трех в одной), которую мы будем использовать в одном из следующих постов. Источник.
Читать полностью »
Artisto: опыт запуска нейросетей в production
2017-07-31 в 13:33, admin, рубрики: data mining, Алгоритмы, Блог компании Конференции Олега Бунина (Онтико), видео, машинное обучение, нейронные сети, обработка изображений, эдуард тянтов, метки: эдуард тянтов
Эдуард Тянтов (Mail.ru Group)
Меня зовут Эдуард Тянтов, я занимаюсь машинным обучением в компании Mail.ru Group. Я расскажу про приложение стилизации видео с помощью нейронных сетей Artisto, про технологию, которая лежит в основе этого приложения.
Давайте я дам пару фактов о нашем приложении:
- 1-е мобильное приложение стилизации видео в мире;
- Уникальная технология стабилизации видео;
- Приложение с технологией разработаны за 1 месяц.