Мы рады сообщить, что Python, язык программирования, широко используемый статистиками, учеными и аналитиками, теперь интегрирован в наш open-source Power BI Desktop. После включения функции в настройках вы cможете использовать Python для очистки, анализа и визуализации данных. Подробнее под катом!
Рубрика «визуализация данных» - 31
Поддержка Python в Power BI
2018-08-27 в 7:00, admin, рубрики: data, data science, microsoft, Power BI, python, анализ данных, Блог компании Microsoft, визуализация, визуализация данных, математика
Отображаем состояние расчётного счёта на графике
2018-08-26 в 20:53, admin, рубрики: визуализация данных, гистограмма, график, информационный дизайн, японские свечиНедавно мне на глаза попалась статья про одну из систем финансового учёта. Помимо всего прочего, она позволяла контролировать остатки на расчётном счёте, предупреждая об опасности возникновения кассовых разрывов. Там были вот такие графики:
Что с ними не так, и можно ли сделать лучше — читайте под катом.
Читать полностью »
Как превратить графики в звук, и зачем это нужно
2018-08-26 в 13:07, admin, рубрики: Аудиомания, Блог компании Аудиомания, визуализация данных, звукДиаграммы и инфографика — эти форматы представления данных часто недоступны незрячим и слабовидящим людям. Разработчики из американской компании SAS Institute постарались решить эту проблему, создав бесплатный браузерный плагин Graphics Accelerator.
Его задача — перевести графическую информацию в звуковую. Сегодня мы рассказываем о разработке SAS Institute и других кейсах, где звук помогает «видеть».
Бизнес-аналитика: как отказаться от Excel, не отказываясь от него
2018-08-23 в 6:03, admin, рубрики: Excel, Power BI, Блог компании Инфосистемы Джет, визуализация данных, миграция, Софт, хранение данных
Наверняка каждому из вас знакома ситуация, когда организация начинала вести внутреннюю аналитику в Excel, потому что его возможностей было более чем достаточно. Но с ростом компании задачи усложняются, объёмы данных растут, и Excel начинает сначала кряхтеть, а затем превращается в «небесного тихохода», по вине которого ежедневно впустую теряется масса оплачиваемого рабочего времени.
Наш сегодняшний рассказ про то, как компания федерального уровня с большим документооборотом переходила с реестра в виде громоздких Excel-файлов на нормальный, вменяемый BI-инструмент. Ну хорошо – про наше видение, как компания должна переходить (клиент пока ещё не принял окончательного решения).
Читать полностью »
Пишем GeoIP exporter для Prometheus с визуализаций в Grafana за 15 минут
2018-08-20 в 7:42, admin, рубрики: devops, Go, Grafana, monitoring, prometheus, визуализация данных
Привет всем!
Я хочу поделиться с вами тем, как легко можно написать свой экспортер для Prometheus на Golang и покажу как это можно сделать на примере небольшой программы, которая следит за тем, откуда географически установлены текущие TCP соединения.
Получаем разницу между бинарными файлами при помощи vcdiff
2018-08-11 в 8:07, admin, рубрики: vcdiff, xdelta3, визуализация данных, системное администрирование, сравнение файловПонадобилось мне это для того чтобы понять в каком месте и как файл JPEG испорчен в процессе передачи.
VCDIFF — формат и алгоритм для дельта кодирования. Описан в RFC 3284.
Дельта-кодирование (англ. Delta encoding) — способ представления данных в виде разницы (дельты) между последовательными данными вместо самих данных.
Для примера я использую текстовые файлы в кодировке Windows-1251 для наглядности. Но с таким же успехом это могут быть и бинарные файлы.
Исходники:
"копия текст копия" ( source.txt )
"копия изменения копия" ( target.txt )Нужно получить разницу между файлами:
" изменения " ( source.txt -> target.txt )
" текст " ( target.txt -> source.txt )Я пользуюсь программой xdelta3 но думаю подойдёт любая которая работает с форматом vcdiff.
Как получить
Нам понадобится ещё один файл заполненный пробелами:
" " ( spaces.txt )Он должен быть больше или равен по размеру файлу источнику ( source.txt )
Команда:
xdelta3 -e -A -n -s source.txt target.txt | xdelta3 -d -s spaces.txtРезультат:
изменения Использованные флаги:
-e — создание дельты
-A — убирает лишние заголовки
-n — убирает crc (он не даёт применить дельту с другим источником)
-s [файл] — источник с которым сравнивается целевой файл и восстанавливается
-d — получение целевого файла из дельты и источника
Ни GA, ни ЯМ. Как мы сделали собственный кликстрим
2018-08-09 в 12:48, admin, рубрики: big data, Анализ и проектирование систем, аналитика, Блог компании Avito, визуализация данных, высокая производительность, кликстримМы собираем более двух миллиардов аналитических событий в сутки. Благодаря этому можем узнать кучу необходимых вещей: нажимают ли на сердечки больше, чем на звёздочки, в какие часы пишут более развёрнутые описания, в каких регионах чаще промахиваются по зелёным кнопкам.
Систему сбора и анализа событий можно обобщённо назвать кликстримом. Расскажу о технической стороне кликстрима в Авито: устройство событий, их отправка и доставка, аналитика, отчёты. Почему хочется своё, если есть Google Analytics и Яндекс.Метрика, кому портят жизнь разработчики кликстримов и почему go-кодеры не могут забыть php.
Визуализация комментариев ютуб-каналов международных и локальных touhou-сообществ
2018-07-31 в 14:16, admin, рубрики: gephi, YouTube, визуализация данных, графы, комментарииВсем привет! Мы развиваем идеи первого поста и продолжаем визуализировать и изучать комментарии на ютубе. На этот раз мы поработаем с глобальными и локальными ютуб-сообществами. Как взаимодействуют комментаторы, которые пишут на разных языках? Собирается ли из множества локальных групп единое глобальное сообщество, или дело сложнее, чем кажется? И причем здесь Touhou Project? Давайте выясним.
Как создать карту московских парковок с помощью Kepler.gl
2018-07-31 в 11:22, admin, рубрики: kepler.gl, MapBox, open data, open source, визуализация данных, Геоинформационные сервисы, карты, Московские парковки, открытые данныеНесколько месяцев назад вышла первая версия Kepler.gl — нового Open Source инструмента для визуализации и анализа больших наборов гео-данных.
В этой статье я предлагаю вам познакомится с основными возможностями приложения и создать с его помощью две картографические визуализации, которые позволят нам узнать несколько интересных фатов о платных парковках Москвы.
Но сперва несколько слов о том, кто и зачем создал Kepler.gl
Анализ вакансий HeadHunter
2018-07-26 в 8:02, admin, рубрики: анализ вакансий, аналитика данных, веб-аналитика, визуализация данных
Однажды мне стало интересно, а что если попробовать проанализировать вакансии и составить по ним некоторые топы. Узнать кому больше всех платят, кто наиболее востребован и много чего еще.