Сначала я хотел честно и подробно написать о методах снижения размерности данных — PCA, ICA, NMF, вывалить кучу формул и сказать, какую же важную роль играет SVD во всем этом зоопарке. Потом понял, что получится текст, похожий на вырезки из опусов от Mathgen, поэтому количество формул свел к минимуму, но самое любимое — код и картинки — оставил в полном объеме.
Читать полностью »
Рубрика «big data» - 106
Как уменьшить количество измерений и извлечь из этого пользу
2016-02-05 в 1:02, admin, рубрики: autoencoder, big data, data analysis, data mining, data science, deep learning, h2o, ICA, neural networks, NMF, PCA, R, SVD, главные компоненты, машинное обучение, Программирование, разложениеАвтоматизированный доступ к SharePoint. Как облегчить работу администратора и установить контроль за раздачей прав
2016-02-04 в 9:48, admin, рубрики: big data, sharepoint, Varonis, Блог компании Varonis Systems, доступ к данным, информационная безопасность Сегодня все чаще встречается широкое использование порталов SharePoint в масштабах организации. SharePoint используют не только как средство для совместной работы и редактирования документов, но и как средство хранения данных, что зачастую подменяет собой функцию файлового сервера.
Читать полностью »
12 невероятных историй успеха Big Data, которые случатся в 2016 году
2016-02-03 в 19:06, admin, рубрики: big data, Блог компании PalitrumLab, Исследования и прогнозы в IT, прогнозы, Читальный зал, юморНа обиженных воду возят. Любая состоявшаяся индустрия умеет смеяться над собой. Вот социологи — не умеют. И SMM'щики обижаются постоянно. А уж журналистов и их потомков — PR'щиков — 2000 лет бросает в маковый цвет при любом косом взгляде.
Кстати, именно журналисты и PR'щики раздули из маленького слоненка (Hadoop) большую свинью, которую подложили технарям под видом красивого названия Big Data. Теперь каждая уважающая себя школа имеет свой портал в интернете, с 10 BigData базами на Pentium, а уж если у компании данных на 2 сервера, то она обязана открыть «Центр обработки Big Data» и пригласить 25 ученых для поиска смысла жизни.
Приглашаем оценить английский технологический BigData-юмор и посчитать, сколько из 12 success story применимы к вашей компании.
Хабра-граф, -сообщества и куда же делась вся карма
2016-02-03 в 10:04, admin, рубрики: big data, data mining, data science, python, визуализация данных, вот это вот всё с данными да, кластеризация, математика, никто не читает теги, Хабрахабр APIВступление
Cегодня мы вместе с анализом графов, data mining, subgroup discovery и всеми веселыми штуками взглянем на Хабр. Весь код и данные прилагаются — каждый может взглянуть на них самостоятельно, легко повторить рассчеты из статьи и найти что-то интересное самостоятельно.
(это не просто картинка для привлечения внимания, а — граф связей ~45000 пользователей Хабра по тому, кто на кого подписан; размер вершины пропорционален числу подписчиков; все картинки кликабельны; подробности далее)
Обсуждаемые проблемы возникли, конечно же, далеко не вчера, но некоторые их аспекты кажутся мне достаточно новыми и поэтому достойными дискуссии, основанной на непредвзятых и репрезентативных данных. Например в комментариях этой статьи, увидел интересное утверждение:
Тут проблема в том, что на всем хабре за сегодня не насчитать больше 50-80 человек, которые вообще могут голосовать. У 90% пользователей карма просто ниже 5. Как итог оценивают комментарии и статьи только избранные. Это как жюри выходит такое.
И решил, что стоить его сформулировать в виде гипотезы и проверить:
Q1: Правда ли, что Хабр превратился в жюри-based сообщество, где два с половиной человека голосуют за статьи?
Вот в этой статье к нам вернулись "железные" Хабы и стало интересно, а как вообще представлены разные сообщества внутри Хабра? Формулируем в виде гипотезы:
Q2: Как сегментировано сообщество, или проще говоря сколько у нас здесь групп по интересам и соотвествуют ли они имеющимся хабам?
Последнее, но не менее интересное наблюдение, что активность на Хабре упала (по данным Хабра-пульса и моим субъективным наблюдениям), что даже решили ввести аккаунты "read & comment". Поэтому решил оценить активность сообщества и продумать, как информация о структуре сообщества может нам помочь:
Q3: Насколько активно сообщество и как нам может помочь структура внутренних групп?
За подробностями добро пожаловать под кат.
Структура статьи
Дозиметр в интернете вещей: составляем карту радиоактивных зон для себя и всего мира
2016-02-03 в 7:50, admin, рубрики: big data, gps, Большие данные, Геоинформационные сервисы, дозиметр, дозиметр для смартфона, Интернет вещей, мобильные устройства, Разработка для интернета вещей, Разработка под android, разработка электроники, теплокарты 
На днях в Минске состоится выставка новых устройств, созданных в рамках белорусских железячных стартапов — Party Hard! 2016. Мы решили рассказать об одном из самых интересных экспонатов этой выставки — умном дозиметре ZIVE, который синхронизируется со смартфоном и собирает данные для глобальной карты радиационного загрязнения.
Читать полностью »
Все погодные аномалии 2015 года за 8 минут
2016-02-02 в 20:52, admin, рубрики: big data, видео, визуализация, визуализация данных, данные, обработка данных, обработка изображений, погода 
Привет читатели и почитатели !
На днях Европейская организация по эксплуатации метеорологических спутников (EUMETSAT) совместно с коллегами из метеорологических агентств Японии и США опубликовала видео, которое вобрало все данные наблюдений за погодой в течение ушедшего 2015 год.
Два полушария, 12 месяцев и 8 минут отличной визуализации данных ждут Вас под катом!
Читать полностью »
Дептранс Москвы обратится в суд с требованием о запрете в столице мобильного приложения такси-сервиса Uber
2016-02-02 в 17:31, admin, рубрики: big data, gett, uber, блокировка, Геолокационные сервисы, Госвеб, Департамент транспорта Москвы, мобильные приложения, Москва, такси, Текучка, метки: big data, gett, uber, блокировка, Геолокационные сервисы, Госвеб, Департамент транспорта Москвы, мобильные приложения, Москва, такси, Текучка, яндекс таксиГлава столичного дептранса, вице-мэр Максим Ликсутов рассказал «Газете.Ru» о встречах с представителями Uber. Сервис вызова такси, с одной строны и сервис рассылки заказов по водителям, с другой — пока не подписал никаких соглашений с Московской властью.
«У нас была встреча с представителями Uber, Читать полностью »
Ликсутов публично пригласил Uber договориться о работе в Москве на правилах Москвы
2016-02-02 в 17:31, admin, рубрики: big data, gett, uber, блокировка, Геолокационные сервисы, Госвеб, Департамент транспорта Москвы, мобильные приложения, Москва, суд, такси, Текучка, метки: big data, gett, uber, блокировка, Геолокационные сервисы, Госвеб, Департамент транспорта Москвы, мобильные приложения, Москва, суд, такси, Текучка, яндекс таксиГлава столичного дептранса, вице-мэр Максим Ликсутов рассказал «Газете.Ru» о встречах с представителями Uber. Сервис вызова такси, с одной строны и сервис рассылки заказов по водителям, с другой — пока не подписал никаких соглашений с Московской властью.
«У нас была встреча с представителями Uber, Читать полностью »
Что сегодня обсуждают эксперты по Data Science и Big Data
2016-02-02 в 15:19, admin, рубрики: 1cloud, big data, Блог компании 1cloud.ru 
Сегодня мы решили пройтись по рейтингу экспертов по теме Data Science на Quora и посмотреть, что обсуждают наиболее активные участники сообщества.Читать полностью »
Census Analyzer 1.0: новый инструмент для анализа данных
2016-02-01 в 16:57, admin, рубрики: big data, data mining, анализ данных, Блог компании JetBrains, визуализация данных, машинное обучение, новый продуктПривет!
Мы в компании JetBrains только что выпустили Census Analyzer — новое веб-приложение для визуализации и анализа данных. Попробуйте его и расскажите нам, что вы думаете!
Census Analyzer является прототипом, “preview”-версией, призванной познакомить пользователей с принципами работы более глобального продукта по анализу данных, который пока в разработке. Но уже сейчас с помощью Census Analyzer вы можете в облаке анализировать данные Бюро переписи населения США (US Census Bureau), работать с графиками и сводными таблицами, составлять графические отчеты, публиковать их и делиться ими в сети.
Давайте посмотрим, чем отличается Census Analyzer.
