Лог-линейные модели и их представления в виде марковских сетей позволяют показать структуру взаимосвязей между случайными величинами. Однако полученная визуализация может оказаться трудна для восприятия из-за большого числа равнозначных ребер в графе такой модели. При работе с порядковыми и бинарными переменными гауссовы копулы (Gaussian copula graphical models, сокр. GCGM) дают возможность повысить наглядность и упростить интерпретацию модели. В статье приведен краткий обзор теории и построен пример GCGM для European Social Survey данных.
Рубрика «визуализация данных» - 49
Визуализация фото-портфолио. Часть 2: Word embedding
2016-09-03 в 15:07, admin, рубрики: data mining, data science, dimensionality reduction, pointwise mutual information, sklearn, SVD, t-sne, word embedding, визуализация данных, машинное обучение
Визуализация портфолио (на данном рисунке, чем краснее область, тем больше среднескачиваемых фото в этой области)
В предыдущей части речь шла о разбиении фото-портфолио по сигналам с предпоследнего слоя модели inceptionV3. В этой части я расскажу, как разбивать портфолио по ключевым словам.Читать полностью »
Визуализация фото-портфолио. Часть 1: Нестандартное применение deep learning
2016-09-03 в 13:23, admin, рубрики: data mining, data science, deep learning, dimensionality reduction, inceptionV3, keras, sklearn, t-sne, truncatedSVD, визуализация данных, машинное обучение
Визуализация портфолио (на данном рисунке, чем краснее область, тем больше фото в этой области, имеющих нулевое количество скачиваний)
Коротко о задаче: есть фото-портфолио с большим количеством фото, хотим узнать список популярных и не популярных тем.
Читать полностью »
Визуализация атак, аномалий и нарушений информационной безопасности с помощью OpenGraphiti
2016-08-31 в 4:47, admin, рубрики: Блог компании Cisco, визуализация данных, информационная безопасность, мониторинг журналовТех, кто посещает нашу штаб-квартиру с Сан-Хосе всегда поражает большая видео-стена, отображающая картину атак в реальном времени с возможностью детализации после прикосновения к определенным областям экрана.
Однако как и любая карта атак, а у меня в коллекции их уже 34, любая такая визуализация малоэффективна в реальной жизни. Показать начальству, показать журналистам, включить в какой-либо ролик… Это все полезно, но в практической деятельности применимо мало. Обычно у вас собственные наборы данных, которые генерятся вашими средствами защиты. И вам интересно то, что происходит в вашей сети или направлено на вашу сеть, но уж точно не красивые карты с “ударами баллистических ракет”, которые рисуются абсолютным большинством компаний, предоставляющих сервисы визуализации атак.Читать полностью »
Parallels Toolbox поможет скачать ролик с YouTube, выключить микрофон, записать видео и многое другое
2016-08-23 в 8:01, admin, рубрики: apple, mac mini, mac os, mac os x, macbook, macbook air, macbook pro, machos, Parallels, parallels desktop, parallels plesk panel, визуализация данных, Клиентская оптимизация, Программирование, Разработка под Linux, Разработка под OS X
Совсем недавно мы представили Parallels Desktop 12 для Mac. Вместе с нашей обновленной утилитой Мас-пользователи получили набор инструментов Parallels Toolbox. В этой статье мы расскажем об основных его функциях и постараемся ответить на ваши вопросы в комментариях. Читать полностью »
Обзор новых возможностей Mathematica 11 и языка Wolfram Language
2016-08-21 в 8:42, admin, рубрики: 3D-печать, api, web-разработка, Wolfram Alpha, wolfram cloud, wolfram data drop, wolfram development platform, wolfram language, wolfram mathematica, wolfram research, Блог компании Wolfram Research, визуализация, визуализация данных, временные ряды, география, дифференциальные уравнения, интегральные уравнения, математика, машинное обучение, наука, обработка аудио, обработка текста, образование, открытые данные, Программирование, программирование систем, уравнения в частных производных
Перевод поста Стивен Вольфрам (Stephen Wolfram) "Today We Launch Version 11!".
Выражаю огромную благодарность Полине Сологуб за помощь в переводе и подготовке публикации
Содержание
— Первое, что вы отметите...
— 3D печать
— Машинное обучение и нейронные сети
— Аудио
— Встроенные данные о чем угодно: от скелетной структуры и продуктов питания до сведений о нашей Вселенной
— Вычисления с реальными объектами
— Передовые возможности географических вычислений и визуализаций
— Не забудем про сложные задачи математического анализа и теоретической физики...
— Образование
— Совмещение всех функций в одно целое
— Визуализация
— От строк к тексту
— Современный подход к программированию систем
— Работа в интернете
— Облачные данные
— Подключайтесь к любым внешним сервисам: Facebook, Twitter, Instagram, ArXiv, Reddit и многим другим...
— WolframScript
— Новое в ядре языка Wolfram Language
— И еще много нового...
Я рад объявить о выходе новой версии системы Mathematica и 11-й версии языка Wolfram Language, доступной как для Desktop-компьютеров, так и в облачном виде. В течение последних двух лет сотни человек упорно трудились над ее созданием, а несколько тысяч часов и я лично. Я очень взволнован; это важный шаг вперед, имеющий важное значение для многих крупнейших технологических областей.
Прошло больше 28 лет с тех пор, как вышла 1-я версия, — и почти 30 лет с тех пор, как я занялся ее разработкой. И все это время я продолжал воплощать дерзкую мечту — строить все больший и больший стек технологий. Большая часть программного обеспечения спустя несколько лет и несколько версий, за исключением мелких доработок, практически не меняется. С системой Mathematica и Wolfram Language сложилась совсем другая история: в течение трех десятилетий мы c каждой новой версией продвигались вперед, завоевывая постепенно огромное количество новых областей.
Читать полностью »
Немного про кино или как делать интерактивные визуализации в python
2016-08-20 в 19:30, admin, рубрики: jupyter notebook, pandas, plotly, python, visualisation, визуализация данных, метки: jupyter notebook, plotly
Введение
В этой заметке я хочу рассказать о том, как можно достаточно легко строить интерактивные графики в Jupyter Notebook'e с помощью библиотеки plotly. Более того, для их построения не нужно поднимать свой сервер и писать код на javascript. Еще один большой плюс предлагаемого подхода — визуализации будут работать и в NBViewer'e, т.е. можно будет легко поделиться своими результатами с коллегами. Вот, например, мой код для этой заметки.
Для примеров я взяла скаченные в апреле данные о фильмах (год выпуска, оценки на КиноПоиске и IMDb, жанры и т.д.). Я выгрузила данные по всем фильмам, у которых было хотя бы 100 оценок — всего 36417 фильмов. Про то, как скачать и распарсить данные КиноПоиска, я рассказывала в предыдущем посте.
Кого агрегирует Meduza?
2016-08-11 в 6:32, admin, рубрики: big data, data mining, анализ данных, аналитика, визуализация данных, математика, Медиа, МедузаГегель считал, что общество становится современным, когда новости заменяют религию.
The News: A User's Manual, Alain de Botton
Читать все новости стало разительно невозможно. И дело не только в том, что пишет их Стивен Бушеми в перерывах между боулингом с Лебовски, а скорее в том, что их стало слишком много. Тут нам на помощь приходят агрегаторы новостей и естественным образом встаёт вопрос: а кого и как они агрегируют?
Заметив пару интересных статей на Хабре про API и сбор данных популярного новостного сайта Meduza, решил расчехлить щит Персея и продолжить славное дело. Meduza мониторит множество различных новостных сайтов, и сегодня разберемся какие источники в ней преобладают, можно ли их осмысленно сгруппировать и есть ли здесь ядро, составляющее костяк новостной ленты.
Краткое определение того, что такое Meduza:
«Помните, как неумные люди все время называли «Ленту»? Говорили, что «Лента» — агрегатор. А давайте мы и в самом деле сделаем агрегатор» (интервью Forbes)
(это не просто КДПВ, а топ-35 медиа по числу новостей указанных в качестве источника на сайте Meduza, включая её саму)
Конкретизируем и формализуем вопросы:
- Q1: Из каких ключевых источников состоит лента новостей?
Иначе говоря, можем ли мы выбрать небольшое число источников достаточно покрывающих всю ленту новостей?
- Q2: Есть ли на них какая-то простая и интерпретируемая структура?
Проще говоря, можем ли мы кластеризовать источники в осмысленные группы?
- Q3: Можно ли по этой структуре определить общие параметры агрегатора?
Радар для покемонов
2016-07-27 в 12:13, admin, рубрики: Pokemon Go, Блог компании HumanFactorLabs, визуализация данных, покемоны на карте, радар, разработка игр
Если вы ни разу не слышали об игре Pokemon Go, можно считать, что вам повезло. Новости о покемонах мелькают в новостных лентах, толпы людей бродят в ночи по кладбищам и воюют за сферы влияния. Только в Москве по данным МТС в Pokemon Go играет 180 000 человек, притом что в России официального запуска еще не было.
Мы в DaData.ru решили посмотреть, чем можем помочь любителям покемонов.
О развитии сферы открытых данных в Украине
2016-07-26 в 11:00, admin, рубрики: prozorro, визуализация данных, открытые данные, Украина
За последние два года Украина сделала в сфере открытых данных больше, чем за последнее десятилетие. О том, что происходит в сфере открытых данных в Украине, пойдет речь в этой статье.
Читать полностью »