Рубрика «визуализация данных»

Визуалы – это люди, которые мыслят образами облекают их в слова и уже в такой форме передают увиденное другим людям. Визуалы составляют примерно 60% населения нашей планеты (автор статьи, Анна Виталь, также входит в их число). Вы можете спросить: как же нам удается общаться с вами с помощью изображений? Все достаточно просто – для этой цели мы используем хорошо известные визуальные символы и аналогии. Ниже представлены некоторые из таких зрительных аналогий, начиная с наиболее простых и заканчивая самыми сложными.

Как научиться мыслить образами, используя визуальные аналогии - 1

Читать полностью »

Отслеживаем Millenium Falcon с помощью TensorFlow - 1

На момент написания этой статьи большинство крупных технологических компаний (вроде IBM, Google, Microsoft и Amazon) предлагают простые в использовании API визуального распознавания. Аналогичные инструменты предлагают и более мелкие компании, например, Clarifai. Но никто из них не предлагает средств по обнаружению объектов (object detection).Читать полностью »

Недавно мне на глаза попалась статья про анализ датасета резюме hh.ru, который участвовал в каком-то хакатоне. Это навело меня на мысль самому поиграться с данными резюме. Тем более что у меня их немного больше. Я выбрал самую интересную для меня профобласть, которую можно указать в резюме, — «Информационные технологии, интернет, телеком».

Под катом вас ожидает много графиков, на которых вы узнаете, сколько получают люди в различных айтишных специализациях, выпускники каких вузов хотят больше всего денег, у каких работодателей айтишники задерживаются меньше всего, зарабатывают ли пользователи гуглопочты больше, чем пользователи почты Яндекса или Мейла, и много другой информации.

Анализ резюме HH.RU: много графиков и немного сексизма и дискриминации - 1
Читать полностью »

Сегодня Илон Маск, по мнению Анны Виталь, является самым футуристически мыслящим человек на Земле. Как ему удалось стать настолько выдающейся личностью?

История Илона Маска – Инфографика - 1

Через сто лет, когда большинства читающих эту статью, равно как и ее автора, уже давно не будет в живых, автомобили и космические корабли, созданные благодаря Илону Маску, по-прежнему будут кружить по Земле и в пространстве. Как он смог достичь таких высот, несмотря на все трудности на его пути – вот вопрос, который в этой статье раскрывает Анна Виталь. И самое главное: что мы можем почерпнуть для себя из его жизненного пути?

История Илона Маска – Инфографика - 2

Читать полностью »

Disclaimer

Все мы видим, что сфера продвинутой аналитики набирает обороты и все больше специалистов интересуются данной областью. При этом понятной и доступной информации о построении процесса бизнес-анализа при разработке аналитических приложений в открытых источниках не так много. Поэтому очень сложно определиться с правильным рецептом (последовательностью действий) в рамках данного направления. В связи с этим я решил систематизировать ключевые ингредиенты и поделиться с вами пошаговой инструкцией, которая описывает действия аналитика по проработке предметной области и превращении туманной задачи «сделай то, не знаю что» в детальные требования к будущему приложению.

Построение процесса бизнес-анализа в проектах по разработке BI-приложений с продвинутой визуализацией - 1

Читать полностью »

Есть ли у вас та штука, что называется pet project или side project? Тот самый проект, который бы вы делали в свое удовольствие и для себя, для саморазвития или расширения портфолио. Лично у меня долгое время не было ничего, что можно было бы показать. Однако, в рамках стартовавшего этой осенью конкурса Atos IT Challenge 2018, у меня как раз появилась возможность начать такой проект.

Читать полностью »

В силу специфики научной деятельности мне нужно замерять время работы алгоритмов и строить по получившимся данным графики. Раньше процесс выглядел так:

  1. Алгоритм подготовлен.
  2. Запуск эксперимента, выходные данные идут в лог.
  3. Перенос данных в эксель.
  4. Постобработка: разбить, группировать, отсортировать.
  5. Строим график, а он кривой — ошибка в эксперименте, переход на шаг 1.

Первая проблема — просто посмотреть как прошел эксперимент занимало очень много времени.

Ладно, пережили, графики построили, время идет, готовим публикацию и выясняется, что в результатах экспериментов не сохранены некоторые параметры запуска алгоритма. Не доглядел. Это уже вторая проблема — хранение метаданных об эксперименте.

Меня как программиста всегда раздражала необходимость «ручной работы». Да график готов, но мы еще что-то вручную подвинем, там перекрасим, тут подрисуем. Каждый раз когда приходят новые данные этот процесс приходится повторять. Третья проблема — перестроение графиков должно быть полностью автоматизированным.

Для решения озвученных проблем я придумал формат хранения данных в JSON и назвал его Measurelook. В этой статье я расскажу о Measurelook и о его применении в подготовке научной публикации.

Как я придумывал и применял формат хранения результатов экспериментов Measurelook - 1

Читать полностью »

Дашборд — что это и почему он будет вам полезен или современный способ сделать тайное явным - 1
Наверное, мало кто из нас задумывался, что практически с рождения пользовался дашбордами. Мы получали некую информацию, анализировали, принимали решение или даже испытывали какие-то эмоции благодаря им. Да-да, градусник, измеряющий температуру, когда вы болели; часы; стрелка спидометра, перевалившая за 200 км/час (ну, это может быть не у всех) — все эти приборы по сути являются дашбордами или их элементом. Но мне бы хотелось рассказать об интерактивных аналитических дашбордах. И, самое главное — показать, что в наше время такие дашборды могут быть полезны каждому человеку, а не только крупным банкам или корпорациям.
Если у вас есть данные — не важно, домохозяйка вы с пачкой чеков от закупок продуктов, спортсмен с данными о пробежках из Strava или кто-либо ещё — вы сможете представить это наглядно, оценить важные показатели, в результате чего принимать более оптимальные решения.
Вы не используете дашборды и думаете, что вам это не нужно? Мнение может поменяться, а кругозор расширится, так как далее: что такое дашборды, какие цели достигаются с помощью них, ключевые понятия и сферы использования, существующие инструменты, множество ссылок на актуальные ресурсы по теме, а также реальный пример, как из обычных на первый взгляд данных, можно извлечь интересные знания…
Читать полностью »

Задача: Найти функцию для графика (бесконечного в обе стороны оси ОХ):
image
Ограничения: Должны использоваться только тригонометрические функции (любые прямые и обратные) и знаки операций плюс, минус, разделить, умножить, модуль. Решение должно быть представлено одной формулой.

Подсказка: Раздумывая над этой задачей, мне попалось на глаза видео о так называемой квантовой запутанности фотонов. Я подумал, что фотон все же в большей мере волна, чем частица, поскольку частицей он определяется при определенных условиях, связанных с измерением состояния фотона, в остальных случаях — это волна. А где волна там обязательно должны быть тригонометрические функции косинуса и синуса, как минимум. Поэтому я подумал, что скорей всего вполне возможно, что есть вероятность создать «запутанную пару» от аргумента x для какой-то неизвестной функции с использованием только тригонометрических функций. Как ни странно, но именно поиск этой неизвестной функции, привел меня к решению поставленной выше задачи.
Читать полностью »

Этим летом Лаборатория данных совершила вылазку на Байкал, где кроме прочего я провела мастер-класс по визуализации данных в Байкальском дизайнерском спецлагере. К слову, на Байкале — ошеломительно!

БДСЛ-2017: Таня Бибикова о визуализации данных - 1

Видео мастер-класса обещано, но появится нескоро. Тем временем, один из участников лагеря расшифровал запись моего выступления. Я привожу здесь первую часть расшифровки лекции с минимальными косметическими правками и конспект второй части, посвящёной алгоритму Δλ, который мы изучаем на курсе по визуализации данных.

Читать полностью »