Рубрика «анализ данных» - 21

Анализ email-сообщений за 18 лет: Неудачный эксперимент по путешествию во времени - 1

В нашем блоге мы много пишем о создании email-рассылок и работе с электронной почтой. Мы уже обсудили сложности борьбы со спамом, будущее email, вопросы защиты почтовой переписки, а также техники работы с email, а также разобрались, почему с течением времени темы почтовых сообщений становятся длиннее.

Многие люди пользуются электронной почтой уже на протяжение десятилетий — а значит, возникает вопрос о том, что анализ данных писем за долгое время может рассказать об эволюции конкретной личности. Журналист и создатель сервиса для разработки веб- и мобильных приложений Postlight Пол Форд в своем блоге на Medium опубликовал результаты эксперимента, в ходе которого он пытался создать динамическую систему поиска писем в своем почтовом ящике, в котором за 18 лет скопилось более 450 тыс. email-сообщений. Мы представляем вашему вниманию адаптированный перевод этой заметки.Читать полностью »

Вместе с компанией Edison продолжаем расследование возможностей системы Palantir.
Киберконтрразведка. Как Palantir может «сноуденов» ловить - 1

Система Palantir позволяет ловить «сноуденов», пока они еще не стали всемирными героями, а являлись просто шпионами, с которыми в любой момент могло случиться ледоруб что угодно.

Несмотря на то, что руководство Palantir как может борется за свободы и логирует все до одного действия в системе, для будущих «сноуденов» подобные системы представляют колоссальную опасность. Предупрежден, значит вооружен.

Рассмотрим кейс, когда, благодаря платформе Palantir, было проведено специальное расследование по вычислению неблагонадежного сотрудника посольства, который сливал информацию сторонней организации.

В расследовании анализировались сетевой трафик, информация роутеров, данные контактных карт и бэйджей сотрудников, события, данные соцсетей, данные видеонаблюдения. Благодаря статическому, временному анализу, анализу геоданных и визуальному анализу «крот» был раскрыт.

Тридцатого уничтожить.
(За помощь в подготовке статьи отдельное спасибо Алексею Ворсину, российскому эксперту по системе Palantir)
Читать полностью »

Рекламное агентство из Амстердама по заказу ING Bank проанализировало более 300 картин голландского художника XVII века Рембрандта Хаарменса ван Рейна, создало алгоритм, способный повторить приёмы великого художника, и напечатала на 3D-принтере портрет мужчины XVII века в его стиле.

Компьютер написал новую картину Рембрандта через 347 лет после смерти художника - 1
Читать полностью »

Хорошая статья, заслуживающая перевода для ознакомления что нам ждать от ближайщего будущего. Небольшие неточности, которые будут заметны экспертам, никак не влияют на крепкую базу собранных в одном месте тенденций и трендов развития нового «социального общества», черты которого все явственнее проявляются в рельности: и чат-боты, и эмодзи, и самоуничтожающаяся информация, сдвиг инфо-потребления и инфо-генерации в сторону видео, лингвистическая обработка и выявления фактов в гигантских объемах неструктурированного контента… Так что почитать настоятельно советуем. Почитать и сравнить с собственным видением развития окружающего вас мира.

Краткий вывод: «Общий тренд – данных все больше, используются они более эффективно – для создания умной „автоматики“, которая и будет формировать информационный образ будущего.»
Десять трендов аналитики социальных медиа в 2016 году - 1
[Картинка с сайта Sostav.ru]
Читать полностью »

image

Технологии дали нам выход нажатием одной кнопки на такси, прачечные самообслуживания, ко всей собранной информации по истории и к сексу. Но они так и не смогли дать нам сколько-нибудь достойную программу для упорядочения списка дел.

И это не означает недостаточное внимание к теме. Имеется целая область Интернета, занимающаяся увеличением производительности повседневной деятельности людей. Сюда входят 5 «простых путей» (Simple Ways), 31 «гениальный совет» (Genius Tips) и одна «таинственная уловка» (One Weird Trick). Сотни приложений составляют гамму от симпатичных формирователей списков до электронного сквалыги, который буквально изводит вас, пока вы занимаетесь своей, по его мнению, «полной ерундой». Это замечательно работает, заставляя затрачивать уйму времени на организацию и планирование вместо того, чтобы фактически получить сделанный материал. Поверьте мне, я делаю это постоянно. И я не один такой.

Стартап «iDoneThis» («Я сделал это») выявил, что 41% задач, помещённых пользователями в его систему, так и не был выполнен. Возможно, следовало бы назвать этот стартап «iAin’tDoingThis» («Я не сделал это»), потому что очевидно это, чем длиннее ваш список, тем меньше он выполняется.
Читать полностью »

Введение

В Badoo несколько десятков «самописных» демонов. Большинство из них написаны на Си, остался один на С++ и пять или шесть на Go. Они работают примерно на сотне серверов в четырех дата-центрах.

В Badoo проверка работоспособности и обнаружение проблем с демонами лежат на плечах отдела мониторинга. Коллеги с помощью Zabbix и скриптов проверяют, запущен ли сервис, отвечает ли он на запросы, а также следят за версиями. Кроме того, в отделе анализируется статистика демонов и скриптов, работающих с ними, на предмет аномалий, резких скачков и т.п.

Сбор и анализ логов демонов в Badoo - 1

Однако у нас до недавнего времени не было очень важной части — сбора и анализа логов, которые каждый демон пишет локально в файлы на сервере. Зачастую именно эта информация помогает на самом раннем этапе поймать проблему или постфактум понять причины отказа.

Мы построили такую систему и спешим поделиться подробностями. Наверняка у кого-то из вас будет стоять похожая задача, и прочтение данной статьи убережет от ошибок, которые мы успели совершить.
Читать полностью »

Школа Данных «Билайн»: весна, знания, новый курс - 1

Привет.

Итак, третий курс Школы Данных «Билайн» подходит к завершению и мы набираем четвёртый.

У нас 18 занятий, 36 часов, все основные темы машинного обучения и анализа данных, куча практики, куча домашек, два Kaggle соревнования, презентации и воркшопы от партнеров, возможность устройства в Билайн в команду BigData для лучших студентов, сокурсники из различных областей бизнеса, где применяется машинное обучение и много чего ещё.
Читать полностью »

image

В начале марта в офисе Mail.Ru Group прошла двухдневная конференция Data Fest2, посвящённая всевозможным актуальным вопросам в сфере анализа данных, как практическим, так и теоретическим. Кроме того, в рамках конференции прошёл хакатон, участники которого пытались как можно точнее предсказать результаты турнира по Dota 2, а также питч-постер сессия для исследователей, на которой были представлены различные разработки и исследовательские проекты. Предлагаем вашему вниманию видеозаписи всех выступлений на Data Fest2.
Читать полностью »

image

BuzzFeed специализируется на виральном контенте и при подготовке своих публикаций активно использует анализ данных. Этим в компании занимается специальный отдел, которым руководит 41-летняя Дао Нгуйен. Ее должность в Buzzfeed официально звучит, как «издатель» (publisher), но в прессе ее уже прозвали «царицей данных».

Дао Нгуйен не отвечает за распространение и продажи. Она руководит в Buzzfeed всеми работниками, которые не связаны напрямую с подготовкой контента и рекламы. Речь идет о технической части, работе с данными и всем, что так или иначе связано с издательской платформой. А это, ни много ни мало – более 100 человек, что составляет около шестой части всего коллектива Buzzfeed. 

Благодаря работе аналитического отдела трафик Buzzfeed увеличился в 5 раз.

Об особенностях своей работы издатель Buzzfeed рассказала в интервью FastCompany. Мы перевели самые интересные моменты.
Читать полностью »

Сравнение некой сущности с известными объектами — это один из самых очевидных способов классификации. Чем больше объект похож на представителей известного нам множества, тем выше вероятность, что он принадлежит этому множеству. Для сравнения нам нужны конкретные метрики (цифры, пригодные для математической обработки). Но как вы понимаете, визуально анализировать подобные матрицы не очень удобно.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js