Рубрика «big data» - 133

Cервис формирования и доставки индивидуальных предложений

2014-03-14 в 19:36, admin, рубрики: big data, data mining, метки: big data, data mining

Добрый день уважаемые читатели!

Наша компания проектирует и разрабатывает OLAP и BI решения. В процессе работы над одним проектом родилась идея создания сервиса, который помог бы розничным компаниям формировать индивидуальные предложения для своих клиентов.
Мы хотим рассказать здесь, как работает этот сервис и если получится получить Ваши советы и комментарии.

Пролог

Итак, существует розничная компания (интернет магазин, сеть турагентств, сеть обувных магазинов и т.д.). Рано или поздно такому бизнесу необходимо задуматься о базе своих клиентов, содержащую контактную информацию и историю покупок.
Располагая такой базой, компания может извлечь дополнительную прибыль различными способами. Один из них формирование индивидуальных предложений (рекомендаций) для клиентов.
Например, анализируя данные продаж одного из турагентств, был выявлен следующий факт: 12 % клиентов, посетивших остров Маврикий так же посещали город Тарифа в Испании. Возможно это случайный выбор клиентов этой компании, а возможно и нет, т.к. оба места являются очень популярными у кайтеров.

Читать полностью »

Такси в Нью-Йорке: визуализация перемещений за год

2014-03-14 в 15:34, admin, рубрики: big data, gps, визуализация, визуализация данных, Медиа, Нью-Йорк, такси, метки: gps, визуализация, нью-йорк, такси

Такси в Нью Йорке: визуализация перемещений за год

Наверное, в Нью-Йорке самый большой таксопарк в мире, или один из самых больших. За последний год, по данным MIT, 13500 такси перевезли более 17 миллионов пассажиров. Это, сами понимаете, очень много.

Благодаря современным технологиям специалистам удалось перевести все данные по перемещениям такси (использовались GPS-координаты) за последний год в графику. И результат получился достаточно интересным.

Читать полностью »

Growth Hacking: Как зарабатывать больше, правильно используя метрики

2014-03-12 в 8:12, admin, рубрики: big data, cpa, ecommerce, growth hacking, landing page, аналитика, Блог компании Witget, веб-аналитика, всплывающие окна, конверсия, метрики, прибыль, Разработка под e-commerce, метки: big data, cpa, ecommerce, growth hacking, landing page, аналитика, всплывающие окна, конверсия, метрики, прибыль, профит

Как повысить доходность интернет-бизнеса при минимальных затратах? Как получить максимум, используя имеющиеся ресурсы? Давайте разберемся, ведь всего несколько ключевых показателей смогут кардинально повлиять на Вашу прибыль.

Прежде всего, Вам нужно понять, из чего складывается выручка. Схема подсчетов предложена Ильей Красинским, одним из преподавателей акселератора ФРИИ.

Итак,
Количество привлеченных пользователей на сайт (User Acquisition)
*
(- Стоимость привлечения пользователя (CPA) + Доход с пользователя в единицу времени (ARPU))
= Profit (в данном примере мы намеренно не учитываем фиксированные расходы, чтобы упростить формулу).

То есть, UA*(-CPA+ARPU)=Profit

Доход с пользователя в единицу времени (ARPU) зависит от конверсии в покупку (C1) и среднего чека (Average Price).

Таким образом, вырисовываются 4 ключевых метрики, на которые Вы можете повлиять, чтобы стать прибыльными:
— Количество привлеченных людей на сайт — UA (для роста можно использовать рекламу, вирус, партнерские программы и другое),
— Средний чек – Average Price (вы можете экспериментировать с ценой на услугу или предлагать купить больше товаров или услуг за 1 покупку),
— Цена привлечения пользователя — CPA (желательно найти те каналы, где стоимость привлечения практически стремится к нулю),
— Конверсия в покупку — C1 (нужно сделать отличный лендинг, стремиться к максимальному доведению клиента до покупки за счет активных действий в его сторону).
Читать полностью »

Hadoop, часть 3: Pig, обработка данных

2014-03-11 в 7:41, admin, рубрики: big data, Hadoop, MapReduce, pig, selectel, Блог компании Селектел, метки: big data, Hadoop, MapReduce, pig, selectel

des-48-5

В предыдущей публикации мы подробно рассмотрели процесс сбора данных при помощи специализированного инструмента Flume. Но чтобы полноценно работать с информацией, мало ее просто собрать и сохранить: ее нужно обработать и извлечь из нее нечто нужное и полезное.

Для обработки данных в Hadoop используется технология MapReduce.
Читать полностью »

Как обеспечить надежное хранение больших объемов данных в рамках умеренного бюджета

2014-03-07 в 11:08, admin, рубрики: acronis, backup, big data, storage, Блог компании Acronis, Inc, большие объемы данных, бэкап, резервное копирование, системы хранения данных, СХД, метки: Acronis, backup, big data, storage, большие объемы данных, бэкап, резервное копирование, системы хранения данных, СХД

Добрый день! Сегодня поговорим о том, как из-за роста объемов данных меняются требования к СХД и почему традиционные системы, которым мы привылки доверять, больше не могут справляться с расширением емкости и обеспечивать надежность хранения. Это мой первый пост после долгого перерыва, поэтому на всякий случай представлюсь — я Олег Михальский, директор по продуктам компании Acronis.

Если вы следите за трендами в индустрии, наверняка уже сталкивались с таким понятием как software defined anything. Эта концепция подразумевает перенос на уровень программного обеспечение ключевых функций ИТ-инфраструктуры, обеспечивающих ее масштабируемость, управляемость, надежность и взаимодействие с другими частями. Gartner называет Software Defined Anything в числе 10 ключевых трендов 2014 года, а IDC уже опубликовала специальный обзор сегмента Software Defined Storage и предсказывает, что в к 2015 году только коммерческих решений данного типа будет куплено на 1,8 миллиарда долларов. Именно про СХД этого нового типа пойдет речь дальше.
Читать полностью »

Единый интерфейс управления рекламой на сайте

2014-03-05 в 10:48, admin, рубрики: big data, Блог компании AdvertOne, веб-аналитика, метки: А/B тестирование

Монетизация собственного проекта – всегда вызов. Самый простой вариант: поставить на него тизерную рекламу или контекст, и наблюдать, сколько денег капает в карман. Но этот же вариант часто оказывается разочаровывающим – заработок не стоит усилий по его приобретению. Так ли плоха тизерная/контекстная реклама для монетизации сайтов? Скорее всего, вы просто не умеете её готовить.

Единый интерфейс управления рекламой на сайте
В зависимости характера вашего трафика, его источников и состава, будет меняться прибыльность той или иной рекламной сети
Читать полностью »

Андрей Себрант о том, почему Big Data — это так важно сегодня. Лекция в Яндексе

2014-03-01 в 13:11, admin, рубрики: big data, Блог компании Яндекс, Большие данные, яндекс, метки: big data, Большие данные

Директор по маркетингу сервисов Яндекса Андрей Себрант, рассказал студентам Малого ШАДа о том, что такое большие данные, и о тех, зачастую неожиданных местах, где они находят своё применение.

Термин большие данные/Bid Data у всех на слуху уже не первый год. Но точное представление о том, что же представляет собой это понятие, есть далеко не у всех, особенно это касается людей за пределами IT-сферы. Проще всего несведущему человеку объяснить это на практическом примере.

Два года назад огромная сеть магазинов Target стала использовать машинное обучение при взаимодействии с покупателями. В качестве обучающей выборки использовались данные, накопленные компанией за несколько лет. В качестве маркеров конкретных покупателей использовались банковские и именные скидочные карты. Алгоритмы проанализировали, как и в каких условиях менялись предпочтения покупателей и делали прогнозы. А на основе этих прогнозов покупателям делались всевозможные специальные предложения. Весной 2012 года разразился скандал, когда отец двенадцатилетней школьницы пожаловался, что его дочери присылают буклеты с предложениями для беременных. Когда сеть Target уже приготовилась признавать ошибку и извиняться перед обиженными покупателями, выяснилось, что девочка действительно была беременна, хотя ни она, ни ее отец на момент жалобы не знали об этом. Алгоритм отловил изменения в поведении покупательницы, характерные для беременных женщин.
Читать полностью »

Что такое на самом деле Big Data и чем они прекрасны. Лекция Андрея Себранта в Яндексе

2014-03-01 в 13:11, admin, рубрики: big data, Блог компании Яндекс, Большие данные, яндекс, метки: big data, Большие данные

Bid Data как понятие у всех на слуху уже не первый год. Но точное представление о том, что же представляет собой это понятие, есть далеко не у всех, особенно это касается людей за пределами IT-сферы. Проще всего несведущему человеку объяснить это на практическом примере.

Можем ли мы доверять решению компьютера, если не можем его проверить?

2014-02-28 в 12:51, admin, рубрики: big data, Алгоритмы, вычисления, математика, Сингулярность, метки: big data, Алгоритмы, вычисления, математика, Сингулярность

Если помните, Рей Курцвейл обещал приход сингулярности уже в 30 годах этого века. Похоже, что первые предвестники уже появляются: два бывших наших соотечественника, Алексей Лисица и Борис Конев, работающие в Ливерпульском университете, запустили на расчет задачу несоответствия Эрдеша. Задача считается неразрешенной, и программа, запущенная исследователями с задачей справилась. Но! Проблема в том, что доказательства решения сами по себе занимают 13 Гб (еще раз, текстовый лог-файл, по сути и являющийся доказательством, занимает 13 Гб) и с трудом поддается верификации. Отсюда напрашивается простой вопрос – можем ли мы доверять решению компьютера, если не в состоянии проверить его выкладки?

Можем ли мы доверять решению компьютера, если не можем его проверить?
Читать полностью »

Пути более эффективного использования PostgreSQL

2014-02-28 в 7:44, admin, рубрики: big data, optimization, postgresql, метки: big data, optimization, postgresql

Прочитав статью Базы данных в онлайн играх и особенно комменты к ней, я в очередной расстроился от мысли, что многие разработчики меняют БД в своём проекте, пытаясь этой сменой решить свои проблемы, не исчерпав, однако, всех возможностей, предоставляемой заменяемой БД. Я принимаю участие в работе над проектом, БД которого характеризуется:

Количеством транзакций порядка 5'000 — 10'000 в секунду
Объемом примерно в 100ГБ (который бодро растёт)
Примерно равным количеством операций на чтение/запись
Преимущественно мелкими транзакциями

В силу, как говорится, исторических причин, вся база представляет из себя, гхм, одну базу, пока без шардинга, который мог бы решить ряд проблем. Тем острее стоит вопрос о поиске решений, заключённых именно в особенностях PostgreSQL. Решений, которые можно реализовать малой кровью.

Я опишу некоторые проблемы, с которыми мы сталкиваемся, и применённые решения. Если кто-то сочтёт это полезным — ради Бога. Если кто-то поправит — я буду только рад обнаружить уязвимость в используемых подходах и увеличить эффективность работы БД. Описанное может быть применено без вмешательства в логику приложения, исключительно путём модификации схемы БД.
Читать полностью »

Информация

Комментарии

Рекомендуем