Всем привет. Недавно задался вопросом: «А что, если… ?». В результате родилась вот такая тема-идея: Проектирование на основе «отражения».
Этой самой идеей я и хочу поделиться с Вами в данной публикации.
Рубрика «визуализация данных» - 25
Проектирование на основе «отражения»
2019-04-12 в 18:57, admin, рубрики: Анализ и проектирование систем, визуализация данных, отражение, проектирование, разработка игр, разработка мобильных приложений, управление разработкой
Фракталы в иррациональных числах. Часть 2
2019-04-10 в 23:39, admin, рубрики: javascript, Алгоритмы, визуализация данных, математикаЧасть 0: Фракталы в простых числах.
Часть 1: Фракталы в иррациональных числах.
В статье присутствуют Gif и контрастные картинки. У эпилептиков может случиться эпилептический припадок.
Прорабатываем навык использования группировки и визуализации данных в Python
2019-04-09 в 16:36, admin, рубрики: data mining, python, Блог компании Mail.Ru Group, визуализация данных, визуализация питон кода, данные, навыки программирования
Привет!
Сегодня будем прорабатывать навык использования средств группирования и визуализации данных в Python. В предоставленном датасете на Github проанализируем несколько характеристик и построим набор визуализаций.
По традиции, в начале, определим цели:
- Сгруппировать данные по полу и году и визуализировать общую динамику рождаемости обоих полов;
- Найти самые популярные имена за всю историю;
- Разбить весь временной промежуток в данных на 10 частей и для каждой найти самое популярное имя каждого пола. Для каждого найденного имени визуализировать его динамику за все время;
- Для каждого года рассчитать сколько имен покрывает 50% людей и визуализировать (мы увидим разнообразие имен за каждый год);
- Выбрать 4 года из всего промежутка и отобразить для каждого года распределение по первой букве в имени и по последней букве в имени;
- Составить список из нескольких известных людей (президенты, певцы, актеры, киногерои) и оценить их влияние на динамику имен. Построить наглядную визуализацию.
Меньше слов, больше кода!
И, поехали.
Читать полностью »
От Тулы до Берлина: анализ городов по Instagram
2019-04-07 в 21:41, admin, рубрики: data mining, визуализация данных, путешествия
Ни для кого не секрет, что в инстаграме можно найти фотографии любого крупного города. Что, если мы попробуем по фрагментам восстановить картину целиком? Полученная информация поможет составить представление о незнакомых местах и будет полезна путешественникам, дополняя традиционные путеводители.
Читать полностью »
Некорректные диаграммы: наш опыт
2019-04-05 в 10:00, admin, рубрики: INFOLUST, the Economist, визуализация данных, графики, графический дизайн, Инфографика, типографикаМы в журнале The Economist очень серьёзно относимся к визуализации данных. Каждую неделю у нас публикуется около 40 графиков в печатной и онлайновой версиях, а также в приложениях. Мы везде стремимся точно представить цифры, чтобы они лучше всего иллюстрировали тему. Но иногда допускаем ошибки. Важно усвоить эти уроки, чтобы не повторять ошибки в будущем. Наверняка наш опыт окажется полезен и для вас.
Погрузившись в архивы, я нашла несколько поучительных примеров. Преступления против визуализации данных сгруппированы по трём категориям. Это графики, которые:
- вводят в заблуждение;
- сбивают с толку;
- не могут довести смысл.
Для каждого показана исправленная версия, которая занимает столько же места — важный фактор для печатной публикации.
Читать полностью »
«Ну вот, опять метеостанция»? Не совсем
2019-04-02 в 4:23, admin, рубрики: BSD, DIY, diy или сделай сам, PDP-11, pidp11, Raspberry Pi, визуализация данных, метеостанция, Разработка на Raspberry Pi, эмулятор
В основу предлагаемой метеостанции положен самодельный компьютер PIDP11, состоящий из «малинки» с эмулятором PDP-11 и корпуса с передней панелью с действующими светодиодами и переключателями. Но несмотря на это, у «малинки» осталось достаточно незанятых GPIO, чтобы подключить ещё и датчик давления и температуры.
На эмуляторе запущена ОС 2.11BSD, в которой «крутится» ПО метеостанции. Данные выводятся на два эмулятора терминала. Один из них — cool-retro-term — отображает текстовую информацию крупным шрифтом при помощи ASCII-арта. Второй — эмулятор графического терминала Tektronix 4010 с запоминающей трубкой — выводит кривые изменения давления и температуры.Читать полностью »
QlikView. Условное форматирование «Как в Эксель»
2019-03-30 в 12:58, admin, рубрики: front, qlikview, web-разработка, веб-дизайн, визуализация, визуализация данных, Разработка веб-сайтов, условное форматированиеПришла задача от заказчика – сделать условное форматирование таблицы «как в эксель». QlikView вполне себе справляется со стандартными задачами раскраски по условию, но вот с выбором параметров динамически, да еще и как в эксель – возник вопрос «это как вообще..?».
Итог: было несколько вариантов реализации, несколько версий, потрачено немалое время на тестирование и отладку. Проводился рефакторинг уже готовой реализации. Представляю итоговый вариант, удовлетворяющий потребности заказчика, оттестированный и выверенный.
Функциональная задача(постановка)
Имеется таблица, в которой измерения и выражения выбираются динамически, формулы расчета самих значений просты: суммы, средние, относительные проценты, абсолютные значения и тому подобное.
Требуется дать возможность пользователю раскрасить таблицу в зависимости от выбранных параметров. Ключевые вводные — один столбец должен уметь раскрашиваться разными цветами, то есть мульти-раскраска, по разным параметрам. Второе ключевое – должна быть возможность раскрасить поле в зависимости от другого «взаимосвязанные параметры», например, мы раскрашиваем «сумму покупок» в зависимости от значения «средняя цена продуктов на рынке».
Далее приведу основную часть реализации. Я не буду останавливаться на таких момент, как скрыть/закрыть меню, создание списков, добавлять в код такие простые на мой взгляд вещи. Если появятся вопросы по деталям расскажу дополнительно.
Итоговый результат, путь к которому был тернист:
Другой Github 2: машинное обучение, датасеты и Jupyter Notebooks
2019-03-27 в 12:06, admin, рубрики: data science, github, Блог компании Mail.Ru Group, визуализация данных, глубокое обучение, машинное обучение, репозиторий
Несмотря на то, что в интернете существует множество источников свободного программного обеспечения для машинного обучения, Github остается важным центром обмена информацией для всех типов инструментов с открытым исходным кодом, используемых в сообществе специалистов по машинному обучению и анализу данных.
В этой подборке собраны репозитории по машинному обучению, датасетам и Jupyter Notebooks, ранжированные по количеству звезд. В предыдущей части мы рассказывали о популярных репозиториях для изучения работ по визуализации данных и глубокому обучению.
Читать полностью »
Технические отличия BI систем (Power BI, Qlik Sense, Tableau)
2019-03-21 в 18:39, admin, рубрики: big data, data mining, Power BI, Qlik Sense, tableau, визуализация данных, Исследования и прогнозы в ITВремя необходимое на прочтение 11 минут
Мы и Квадрат Гартнера 2019 BI :-)
Целью данной статьи является сравнение трёх ведущих BI платформ, которые находятся в лидерах квадранта Gartner:
— Power BI (Microsoft)
— Tableau
— Qlik
Рисунок 1. Gartner BI Magic Quadrant 2019
Меня зовут Жданов Андрей, я руководитель отдела аналитики компании Аналитикс Групп (www.analyticsgroup.ru). Мы строим наглядные отчёты по маркетингу, продажам, финансам, логистике, другими словами занимаемся бизнес аналитикой и визуализацией данных.
Я со своими коллегами уже несколько лет работаем с различными BI платформами. Имеем весьма неплохой опыт проектов, что позволяет нам сравнивать платформы с точки зрения разработчиков, аналитиков, бизнес-пользователей и внедренцев BI систем.
У нас будет отдельная статья по сравнению цен и визуальному оформлению этих BI систем, поэтому тут постараемся оценить эти системы именно с точки зрения аналитика и разработчика.
Выделим несколько направлений для анализа и оценим по 3 бальной системе:
— Порог вхождения и требования к аналитику;
— Источники данных;
— Очистка данных, ETL (Extract, Transform, Load)
— Визуализации и разработка
— Корпоративная среда — сервер, отчеты
— Поддержка мобильных устройств
— Embedded (встроенная) аналитика в сторонние приложения/сайты
Iodide: интерактивный научный редактор от Mozilla
2019-03-20 в 18:39, admin, рубрики: data mining, Iodide, javascript, JavaScript MarkDown, Julia, jupyter, mozilla, Pyodide, python, R, webassembly, визуализация данных, дата-майнинг, наука о данных
Изучение аттрактора Лоренца, а затем редактирование кода в Iodide
В последние десять лет произошёл настоящий взрыв интереса к «научным вычислениям» и «науке о данных», то есть применению вычислительных методов для поиска ответов на вопросы, анализа данных в естественных и социальных науках. Мы видим расцвет специализированных ЯП, инструментов и методов, которые помогают учёным исследовать и понимать данные и концепции, а также сообщать о своих выводах.
Но на сегодняшний день очень немногие научные инструменты используют полный коммуникационный потенциал современных браузеров. Результаты дата-майнинга не очень удобно просматривать в браузере. Поэтому сегодня Mozilla представляет Iodide — экспериментальный инструмент, который помогает учёным составлять красивые интерактивные документы с использованием веб-технологий, всё в рамках итеративного рабочего процесса, который многим знаком.
Читать полностью »