Рубрика «big data» - 115

Привет!

29 июля, в очередной, уже седьмой раз, в Санкт-Петербурге откроется ежегодная Летняя школа Microsoft Research. На этот раз тема школы – машинное обучение и интеллект. В программу школы включены лекции и семинары ученых мирового уровня из ведущих университетов со всего мира, в том числе из России, а также исследователей Microsoft Research. Руководитель школы – Эвелин Виегас, директор направления «семантические вычисления» Microsoft Research Redmond. Подробности под катом.

Седьмая ежегодная Летняя школа Microsoft Research. На этот раз про машинное обучение и интеллект - 1
Читать полностью »

Обзор наиболее интересных материалов по анализу данных и машинному обучению №35 (9 — 15 февраля 2015) - 1
Представляю вашему вниманию очередной выпуск обзора наиболее интересных материалов, посвященных теме анализа данных и машинного обучения.
Читать полностью »

Статистика вокруг нас

Статистика и анализ данных пронизывают практически любую современную область знаний. Все сложнее становится провести границу между современной биологией, математикой и информатикой. Экономические исследования и регрессионный анализ уже практически неотделимы друг от друга. Один из известных методов проверки распределения на нормальность — критерий Колмогорова-Смирнова. А вы знали, что именно Колмогоров внес огромный вклад в развитие математической лингвистики?

Еще будучи студентом психологического факультета СПбГУ я заинтересовался когнитивной психологией. Кстати, Иммануил Кант не считал психологию наукой, так как не видел возможности применять в ней математические методы. Мои текущие исследования посвящены моделированию психических процессов, и я надеюсь, что такие направления в современной когнитивной психологии, как вычислительные и коннективисткие модели, смягчили бы его отношение!
Читать полностью »

Обзор наиболее интересных материалов по анализу данных и машинному обучению №34 (2 — 8 февраля 2015) - 1
Представляю вашему вниманию очередной выпуск обзора наиболее интересных материалов, посвященных теме анализа данных и машинного обучения.
Читать полностью »

Привет!

Пример Feature Engineering в машинном обучении - 1

В одной из прошлых статей мы познакомились с таким понятием как Feature Engineering и применением его на практике. В комментариях было озвучено пожелание показать на примере, как искусство генерации признаков помогает заметно улучшить качество алгоритмов машинного обучения. Я поискал задачи, в которых бы это можно было наглядно продемонстрировать и нашел один хороший пример. Это задача Forest Cover Type Prediction. Покажем, как можно применяя простые идеи, не содержащие в себе машинное обучение, сразу попасть в топ 10% Leader Board!
Читать полностью »

Сегодня я рад презентовать на Хабре образовательную программу «Специалист по большим данным» — интенсивный трехмесячный курс «Лаборатории новых профессий» для разработчиков и экспертов по IT-инфраструктуре, которые хотят войти в быстро в растущую индустрию Big Data.

«Специалист по большим данным»: учебная программа от «Лаборатории новых профессий» - 1 Читать полностью »

Если вы когда-нибудь читали раздел помощь на Хабре, то наверняка видели там прелюбопытнейшую строчку:

Допустим, вы написали публикацию с рейтингом +100 — это добавило к вашему персональному рейтингу величину Х. Через несколько десятков дней этот самый Х вычтется, тем самым вернув вас на прежнее место.

то наверняка задавались вопросом, что это за Х и с какого он района чему он равен?

Сегодня мы ответим на этот вопрос.

Расшифровываем формулу Хабра-рейтинга или восстановление функциональных зависимостей по эмпирическим данным - 1
(измеряем Хабра-рейтинг в попугаях)

Структура статьи:

  1. Аналитический вывод
  2. Регрессия
  3. Исключения
  4. Устойчивая регрессия
  5. Скрипт и данные
  6. Почему скрывать функцию бесполезно
  7. Что с этим можно сделать?
  8. Интерпретация формулы

Читать полностью »

Обзор наиболее интересных материалов по анализу данных и машинному обучению №33 (26 января — 1 февраля 2015) - 1
Представляю вашему вниманию очередной выпуск обзора наиболее интересных материалов, посвященных теме анализа данных и машинного обучения.
Читать полностью »

Музыка как big data. Почему вместо качества звука надо задуматься об удобстве - 1Никогда еще музыкальная индустрия не была столь развита технически. Ассортимент, доступность, простота, дешевизна: в общем рай для меломана. Или ад. Никогда еще музыкальная индустрия не раздражала так сильно тех, кто приносит им больше всего денег. Почему так? Много разных людей и компаний, преследуя свои, подчас диаметрально противоположные интересы, низвели музыку до статуса фонового шума, в котором почти отсутствует полезный сигнал. Имея на руках смартфон с дешевым, неограниченным, моментальным доступом к десяткам миллионов песен мы перестали музыку ценить. Или не перестали?

Главная идея моего предыдущего поста по про качество и кайф сводилась к тому, что я не аудиофил. Я меломан. Я люблю музыку, трачу на нее много времени и денег, как на сами песни, так и на устройства и программы для их прослушивания. Для меня это не фон. Я изучаю историю любимых исполнителей, стараюсь пополнять коллекцию новыми альбомами, черпаю в музыке вдохновение и силы для работы и жизни. Так вот, в современном, наполненном под завязку различными технологиями мире, меломаном быть сложно.

Тему этой «сложности» я затронул в предыдущем посте, но очень поверхностно. Несмотря на это, дискуссия в комментариях вышла весьма интересная и полезная. А поэтому – продолжим! Что если вынести за скобки и качество звука, и стоимость? Что если оценивать плеер, наушники, колонки и усилитель исключительно по тому, насколько удобно ими пользоваться, и насколько хорошо они соответствуют Основным Принципам моего меломанства? Такой подход очень интересен и, увы, нечасто встречается. Сразу скажу, что «удобство» — это тема не для одного поста, но с чего-то надо начинать. Начну с тех самых принципов.
Читать полностью »

За последние несколько дней в экосистеме Microsoft произошло сразу три достаточно больших и серьезных события, между собой не связанные, но, так или иначе, имеющие принадлежность к сервисам в облаке и, что еще интересно, к науке и исследованиям. Для того, чтобы не писать три новости, мы решили объединить их в одну. Подробнее – под катом.

Итак:

  1. Open-source пакет для 3D-анимации Blender стал доступен для использования с нашей поддержкой в Microsoft Azure Batch – сервисе для осуществления серий расчетов в облаке.
  2. Microsoft достигла соглашения о приобретении Revolution Analytics – ведущего разработчика ПО и сервисов для R. Как известно, R – один из самых используемых языков для predictive analytics и статанализа. Соглашение с авторитетной в этой области компанией, имеющей большую экспертизу, означает новую функциональность и возможности для разработчиков.
  3. Анонс Power BI Preview – облачного сервиса для бизнес-аналитики для нетехнических бизнес-пользователей.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js