Рубрика «визуализация данных»

image

Друзья, приглашаем вас на пятый московский Data Fest, который состоится 28 апреля на территории дизайн-завода FLACON. Data Fest — крупнейшая бесплатная конференция для исследователей, инженеров и разработчиков, связанных с анализом и обработкой данных, машинным обучением, а также тем, что пресса любит называть AI.

Вы узнаете про AI в продуктах Mail.Ru Group и «умные» ответы в Почте Mail.Ru, как работают рекомендации и компьютерное зрение во ВКонтакте и Одноклассниках, а также машинный перевод в Alibaba и что такое Quantum Machine Learning, а также многое-многое другое!
Читать полностью »

Всем привет! Публикуем отчёт с митапа Avito Data Science Meetup: Personalization, который проходил у нас в офисе. Участники обсуждали моделирование пользовательских предпочтений в мультимодальных данных и кластеризацию волатильных объявлений с помощью EM-алгоритма. Под катом — видеозаписи, презентации, ссылка на фотоотчёт.

Персонализируй это. Отчёт с Avito Data Science Meetup: Personalization - 1

Читать полностью »

Зрение — ваша суперспособность. Вы уже обладаете всеми необходимыми инструментами, устройство у вас с рождения, а программное обеспечение включилось, как только вы впервые разомкнули веки. Теперь нужно установить обновления.

Так заканчивается новая книга Дэна Роэма "Рисуй, чтобы победить: проверенный способ руководить, продавать, изобретать и обучать". Её идея в том, что современное общение преимущественно визуально. И для того, чтобы общаться эффективно, нужно знать и использовать законы визуального мышления.

Из названия ясно, что книга будет полезна всем, кто руководит, продает, обучает. Хотя её можно адресовать вообще всем, кто мыслит и делится идеями с другими людьми: доступно описан процесс человеческого мышления и способы опоры на него в любой коммуникации.

image

Перестаньте думать о рисовании как о художественном процессе. Это мыслительный процесс. Если вы хотите четче воспринять идею, нарисуйте её.

Читать полностью »

Анализ данных с использованием Python - 1

Язык программирования Python в последнее время все чаще используется для анализа данных, как в науке, так и коммерческой сфере. Этому способствует простота языка, а также большое разнообразие открытых библиотек.

В этой статье разберем простой пример исследования и классификации данных с использованием некоторых библиотек на Python. Для исследования, нам понадобится выбрать интересующий нас набор данных (DataSet). Разнообразные наборы Dataset'ы можно скачать с сайта. DataSet обычно представляет собой файл с таблицей в формате JSON или CSV. Для демонстрации возможностей исследуем простой набор данных с информацией о наблюдениях НЛО. Наша цель будет не получить исчерпывающие ответы на главный вопрос жизни, вселенной и всего такого, а показать простоту обработки достаточно большого объема данных средствами Python. Собственно, на месте НЛО могла быть любая таблица.

Читать полностью »

В середине марта вышло очередное обновление Power BI Desktop. Microsoft добавил пару интересных функций, в том числе возможность пользователям самим создавать всплывающие подсказки — Tooltips.

В этой заметке я покажу простой пример работы с этой функциональностью.
Читать полностью »

Введение

Выборы — крайне загадочный процесс, при просмотре значений результатов которого не совсем понятна общая картина. Я решил показать их на карте Москвы с делением по районам c помощью технологий InterSystems, которые обеспечивают и хранение, и анализ данных. В данном случае использовалась платформа для интеграции и разработки приложений InterSystems Ensemble, но с равным успехом можно развернуть описанное ниже решение и на мультимодельной СУБД InterSystems Caché, и на новом продукте InterSystems IRIS Data Platform.
Читать полностью »

Ученье — свет, или как организовать мастер-класс за 2 дня - 1

Обучение новых пользователей и разработчиков служит одним из основных инструментов популяризации своего продукта или технологии. Наша компания несколько месяцев назад начала приоткрывать «завесу» над своей технологией и привлекать новых разработчиков к платформе, на которой мы разрабатываем оригинальные приложения по 3D-аналитике. Естественно, что мы столкнулись с необходимостью обучения новичков.

В данной статье я опишу опыт нашей компании по организации обучения новой команды разработчиков или, другими словами, как собрать образовательную программу из подручных материалов.

Чем статья может быть полезна вам?

Если перед вами стоит задача за несколько дней подготовить программу обучения, то можете воспользоваться данной статьей, как пошаговой инструкцией. Также здесь описан перечень артефактов, которые стоит подготовить для успешной организации «передачи знаний». Если же ваша технология или продукт еще не готовы к «отторжению от лона проматери», но у вас есть планы по привлечению новых последователей в дальнейшем, то в статье вы найдете несколько идей по поводу того, какие документы вам стоит начать готовить и что описывать.

Наша программа обучения состоит из 2 этапов: мастер-класс и онлайн-обучение.
В данной статье мы рассмотрим проведение мастер-класса. Об удаленном онлайн-обучении напишу в следующей статье. Поэтому, пожалуйста, оставляйте под статьей свои комментарии, и я обязательно учту их при написании второй части.
Читать полностью »

image

Красота, как известно, требует жертв, но и мир обещает спасти. Достаточно свежий (2015г) визуализатор от Google призван помочь разобраться с процессами, происходящими в сетях глубокого обучения. Звучит заманчиво.
Красочный интерфейс и громкие обещания затянули на разбор этого дизайнерского шайтана, с неинтуитивно отлаживающимися глюками. API непривычно скудный и часто обновляющийся, примеры в сети однотипны (глаза уже не могут смотреть на заезженный MNIST).
Чтобы опыт не прошел зря, решила поделиться максимально простым описанием инсайтов с хабравчанами, ибо рускоязычных гайдов мало, а англоязычные все как на одно лицо. Может, такое введение поможет вам сократить время на знакомство с Tensorboard и количество ругательных слов на старте. Также буду рада узнать, какие результаты он дал в вашем проекте и помог ли в реальной задаче.
Читать полностью »

Я давно интересовался нейросетями, но только с позиции зрителя – следил за новыми возможностями, которые они дают по сравнению с обычным программированием. Но никогда не лез ни в теорию, ни в практику. И вдруг (после сенсационной новости о AlphaZero) мне захотелось сделать свою нейросеть. Посмотрев несколько уроков по этой теме на YouTube, я немного врубился в теорию и перешёл к практике. В итоге я сделал даже лучше, чем свою нейросеть. Получился конструктор нейросетей и наглядное пособие по ним (то есть можно смотреть, что творится внутри нейросети). Вот как это выглядит:

Пощупать нейросети или конструктор нейронных сетей - 1
Читать полностью »

В ZABBIX есть отличный механизм, который позволяет автоматически обнаруживать и ставить на мониторинг файловые системы, сетевые интерфейсы, CPU, ядера CPU и другие объекты. Но к сожалению тоже самое делать с софтом из коробки он не умеет.

С помощью всего пары скриптов, один из который необходимо положить на сервер, а второй раскидать по клиентам, можно сделать низкоуровневое авто-обнаружение nginx, mongod, rabbitmq, mysql, postgresql и любого другого сервиса.
Читать полностью »