Коронавирус окончательно захватил весь мир — и выражается это не в том, что им успел переболеть каждый житель планеты. На данный момент эта тема является главной и единственной — как в мировых, так и в российских новостях. В этой статье мы постараемся максимально абстрагироваться от политики и рассуждений о том, запустили ли вирус китайские военные, или же Дональд Трамп. Вместо этого мы посмотрим на проблему с математической точки зрения — а именно, выясним, как можно описать эпидемию одним уравнением, а в конце статьи предскажем итоговое число зараженных COVID-19 — в том числе в России.
Рубрика «social network analysis»
О пользе технологий больших данных в повседневной жизни
2016-02-19 в 7:04, admin, рубрики: big data, data mining, social network analysis, spark, Блог компании Одноклассники, высокая производительность, Хакатоны 
Среди многих исследователей и разработчиков бытует мнение, что инструменты обработки больших данных в области машинного обучения часто избыточны – всегда можно сделать сэмпл, загнать в память и использовать любимые R, Python и Matlab. Но на практике встречаются задачи, когда даже относительно небольшой объем данных, размером в пару гигабайт, обработать в таком стиле затруднительно – и тут-то и могут помочь те самые технологии «больших данных».
Хорошим наглядным примером такой задачи является задача нашего конкурса SNA Hakathon 2016: дан социальный граф одного миллиона пользователей и их демография. Задача — найти скрытые связи в этом графе. Размер предоставленного графа всего два гигабайта в GZip и, казалось бы, применение технологий больших данных здесь не оправданно, но это только на первый взгляд.
Одной из самых важных «фич» в задаче поиска скрытых связей в социальном графе является количество общих друзей. И в расчетном плане это очень тяжелая «фича» — количество узлов, между которыми существуют пути длины 2, на несколько порядков больше, чем количество прямых связей в графе. В результате при расчете граф «взрывается» и из разрежённой матрицы на два гигабайта превращается в плотную терабайтную матрицу.
Казалось бы, для решение этой задачи впору поднимать небольшой кластер, но спешить не стоит: взяв на вооружение принципы обработки больших данных и соответствующие технологии, задачу можно решить и на обычном ноутбуке. Из принципов мы возьмем «разделяй и властвуй» и «руби хвосты сразу», а в качестве инструмента — Apache Spark.
Читать полностью »
Social Network Analysis: Spark GraphX
2015-03-05 в 8:49, admin, рубрики: Apache, big data, data mining, machine learning, social network analysis, графы и визуализация, математика, машинное обучениеПривет!
Сегодня мы подробно познакомимся с задачами Анализа Социальных Сетей (SNA), а также закончим обзор библиотеки Apache Spark, предназначенной для анализа Больших Данных. А именно, как и было обещано в предыдущих статьях (раз и два) мы рассмотрим одну из компонент Apache Spark, предназначенную для анализа графов — GraphX. Постараемся понять, как в этой библиотеке реализовано распределенное хранение графов и вычисления на них. А также покажем на конкретных примерах, как данная библиотека может использоваться на практике: поиск спама, ранжирование поисковой выдачи, выделение сообществ в социальных сетях, поиск лидеров мнения — далеко не полный список применений методов анализа графов.
Читать полностью »
Обзор некоторых MOOC Coursera по компьютерным наукам
2015-01-16 в 9:55, admin, рубрики: algorithms, coursera, data analysis, data mining, machine learning, MOOC, programming, social network analysis, Алгоритмы, анализ данных, анализ соцсетей, дистанционное образование, машинное обучение, Учебный процесс в ITСкорее всего, если вы зашли на Хабр и читаете эту статью, то хоть раз в жизни да слышали про MOOC-курсы.
Но если все же не слышали, то MOOC (по-русски принято произносить «мук») означает «Massive Open Online Course» — массовый открытый онлайн-курс. Это настоящий феномен в образовании XXI века. Газета «New York Times» назвала даже 2012 год «годом MOOC» в связи с появлением на рынке дистанционного образования 3-х «китов» — Coursera, Udacity и EdX. MOOC-ам посвящено множество статей, кто-то видит в них будущее образования, кто-то, наоборот, угрозу. Пытаются также предсказать «традиционную» и «дистанционную» составляющии обучения будущего.
Однако в этой статье я не буду обсуждать перспективы развития дистанционного образования, а расскажу про свой опыт знакомства с курсами на платформе Coursera. Эти курсы будут полезны студентам, изучающим прикладную математику и информатику, в особенности анализ данных. Многое из того, что мне дали эти курсы, как я потом понял — это знания, которыми должен обладать любой уважающий себя исследователь данных (так я предпочитаю переводить профессию Data Scientist).
Читать полностью »
Социальные сети в России, лето 2014: цифры, тренды, прогнозы
2014-07-22 в 10:58, admin, рубрики: social network analysis, Блог компании PalitrumLab, Исследования и прогнозы в IT, социальные медиа, социальные сети, Социальные сети и сообщества Представляем данные июньского исследования цикла «Социальные сети в России сегодня: цифры, тренды, прогнозы». Это четвертая регулярная публикация актуальных данных о проникновении социальных медиа по регионам России, поло-возрастной структуре авторов сообщений и степени их активности, на этот раз — по итогам первого полугодия 2014 года. Кроме того, впервые в серии исследований публикуются уникальные данные по эмоциональному состоянию пользователей социальных медиа.
Инструменты мониторинга в социальных сетях
2013-03-27 в 12:28, admin, рубрики: CRM-системы, data mining, Facebook, linkedin, social network analysis, twitter, веб-аналитика, метки: crm-системы, Facebook, linkedin, social network analysis, twitter Сегодня можно без труда на пальцах одной руки насчитать две и даже семь сотен социальных сетей. Я думаю мне не нужно убеждать дорогого читателя в том, что это бездонный кладязь информации. Но вот как можно эту самую информацию заполучить, да ещё и в удобоваримом виде?
Для того, чтобы у нас с вами было не как на картинке, предлагаю вашему вниманию обзор наиболее интересных сервисов для монитроинга и взаимодействия с социальными сетями. Если коротко, то ситуация выглядит следующим образом:
| Wildfire | HootSuite | TweetDeck | AppData | Klout | |
|---|---|---|---|---|---|
| С чем интегрируется | Google+, Facebook, Linkedin, Pinterest, Twitter, Youtube | Google+, Facebook, Foursquare, Linkedin, Mixi, Myspace, Twitter, WordPress, App Directory | Facebook, LinkedIn, MySpace, Twitter | Facebook, Twitter | |
| Цена | Pro / Enterprise — договорная | Free, Pro — $10/месяц, Enterprise — договорная | Free | Free, Pro — $595/месяц или $5995/год, Enterprise — договорная | Free |
| Аналитика | 
|
|
|
|
|
| Сравнение брендов | 
|
|
|
|
|
| Постинг по расписанию | 
|
|
|
|
|
| Стриминг сообщений | 
|
|
|
|
|
Для любопытного же читателя я подготовил более развёрнутое описание всех этих сервисов под катом. Так же там можно найти идеи для сервиса, который мог бы принести радость всем людям на Земле.
Читать полностью »
Startup Weekend Kyiv + Building Social Products at Scale
2013-02-20 в 12:47, admin, рубрики: ciklum, Facebook, scale, social network analysis, speakers corner, startup weekend, Блог компании Ciklum, метки: ciklum, Facebook, scale, social network analysis, speakers corner, startup weekend, киевОт Идеи до Бизнеса всего за 54 часа!
1-3 марта 2013 года в Киеве, в офисе Ciklum (ул. Амосова, 12) состоится трехдневный бизнес-марафон Startup Weekend.
Startup Weekend — это предпринимательское движение международного масштаба где разработчики, дизайнеры, бизнесмены и вообще все кто заинтересован в создании собственного бизнеса могут протестировать жизнеспособна ли их идея.
К участию в Startup Weekend в качестве экспертов приглашены бизнесмены, которые успешно запустили свое дело. На протяжении викенда, они будут работать с образовавшимися командами за одним столом. A также, поделятся своим опытом, помогут разработать первоначальную стратегию, изучить «портрет пользователя» и укажут на возможные ловушки в которые могут попасть молодые проекты.
Более подробную информацию можно получить на сайте мероприятия ->
В качестве разогрева перед 54-часовым марафоном Startup Weekend Kyiv мы приглашаем Вас на особенный Speakers' Corner в Сиклум. В рамках мероприятия Вы сможете узнать об особенностях масштабирования социального продукта на аудиторию в миллиард человек. 3 ведущих инженера головного офиса Facebook совместно поделятся опытом в рамках доклада – панельной дискуссии под названием «Building Social Products at Scale».
Внимание, доклады и общение будут проходить на английском языке без перевода! Регистрация ->
Читать полностью »