Как мы внедряли аналитику Wi-Fi в городской инфраструктуре

в 19:08, , рубрики: big data, data mining, IoT, wi-fi, веб-аналитика, маркетинг

Как мы внедряли аналитику Wi-Fi в городской инфраструктуре - 1

Ни для кого не секрет, что сегодня сети wi-fi получили повсеместное распространение. Использование публичных точек в основном используется как конкурентное преимущество в среде моллов, гостиниц, в HoReCa и непосредственно получение прибыли эта технология пока не приносит. Хотя вполне логично, что можно не только давать пользователям интернет, но и анализировать их активность и оценивать различные прикладные параметры.

В данной статье мы поговорим о том, как мы работали над одним проектом, целью которого был такой анализ. Всех заинтересовавшихся прошу под кат!

Сперва скажу, что этот текст подготовлен не мной, а хабравчанином Enom123, который, к сожалению, пока не может ничего опубликовать :( Однако, надеемся, что вы найдете тему интересной и познавательной.

Идеи

Наша компания занимается строительством бесплатных для пользователей Wi-Fi сетей. Среди подключенных нами объектов — аэропорты, большие моллы (ТРЦ), ЖД вокзалы, институты и университеты, ну и конечно всевозможные объекты сегмента HoReCa (отели, рестораны, кафе).

Анализируя статистику подключений к нашим хотспотам мы обнаружили что можно «видеть» устройства, которые даже не подключались к нашей сети, а были просто в зоне видимости Wi-Fi точки доступа.

То есть, имея всего 2 параметра — МАС адрес устройства и его уровень сигнала — RSSI (уровень, с которым WI-Fi точка «слышит» устройства) можно сделать достаточно глубокую аналитику.

  • Можно оценивать динамику посещений объектов, разделять пользователей на просто прохожих, прошедших рядом и зашедших (посетителей).
  • Можно увидеть сколько времени провел человек в заведении, как часто он посещает его (возвраты, повторы), процент новых и повторных пользователей.
  • Имея MAC-адреса наших пользователей, мы сможем найти месторасположение конкретного посетителя в наших точках. Да, мы следим за вами :)

Реализация

Итак, наша реализация состоит из некоторого набора серверов с WEB-интерфейсом, который отображает статистику.
На точках доступа (производства компании Acton) крутится специальный скрипт мониторинга окружающих устройств, который шлет инфу на сервер по https посредством POST запросов каждую секунду.

Наше оборудование поддерживает технологию «ячеистой» топологии сети — Mesh, которая позволяет точкам доступа взаимодействовать между собой, устанавливая соединения, при каждая точка может взять на себя функцию коммутатора для других точек.

Такое решение позволяет легко стоить высокоскоростные, устойчивые, самонастраивающиеся, беспроводные, сети, в которых отключение одной точки доступа ощутимо не сказывается на работе всей сети в целом. Для больших торговых центров это порой очень актуально.

Результаты

В «админке» удалось реализовать многие функции, связанные с аналитикой и наглядным представлением данных. Эта часть еще находится в доработке, но и имеющиеся метрики представляют определенный интерес.
В-первых, можно посмотреть актуальные данные по «текущему часу»:

image

Во-вторых, присутствуют инструменты для просмотра сводной статистики за последний день, неделю, или месяц (в принципе, эту историю можно и еще больше расширять и детализировать). К примеру, получим информацию за последнюю неделю:

image

В данный момент есть «виджеты» со следующими метриками:

  • Посетители, повторные посетители, новые посетители – основная представляющая интерес информация, ведь всегда полезно узнать, насколько хорошо удается удерживать имеющихся клиентов, и привлекать новых.
  • Дальние прохожие, проходящие рядом, и конверсия проходящих рядом – специально для известных любителей «словить» WiFi близ крупных торговых центров и кинотеатров. Так сколько же из них таки заходят? :)

Графики:

image

Также есть возможность вывести таблицу всех подключенных или подключаемых ранее устройств. Можно добавить определенные устройства в список «избранного» и в дальнейшем обращать особое внимание, когда определенный клиент или группа клиентов посещает торговый центр.

Просто полный набор шпионских инструментов :). Однако стоит заметить, что все эти данные мы храним с соблюдением максимальных средств защиты, а используем только в целях маркетинговой аналитики. Кроме того, сама база хранится в сжатом виде.

Записывается Mac-адрес и имя устройства, его модель, а также последнее время когда пользователь был в сети.
Из интересного: можно построить статистику и соответствующий график по операционным системам пользователей:

image

Распределение популярности ОС, как вы видите, стандартное. Больше всего устройтв на Android OS, приблизительно в два с половиной раза меньше iOS, и совсем немного Windows Phone.

Эту статистику можно детализировать, построив полный график по поставщикам мобильных устройств:

image

Даже здесь Apple неуклонно конкурирует с Samsung. Гиганты мобильного рынка имеют приблизительно равное число пользователей, каждый занимает свою нишу.

И, наконец, самое интересное.

image

Это – график кросс-пересечений. Допустим, человек посещает супермаркет А, подключается там к Wi-Fi, после чего посещает аэропорт B и также подключает WiFi. В обоих точках установлена наша система и конечно, мы без труда можем зафиксировать его перемещение. Это позволяет сформировать совершенно новую статистику.

Для того, чтобы автоматизировать построения такого графика, наши программисты потратили немало сил и постарались приложить весь свой талант и профессионализм. Более того, его удалось сделать интерактивным!

image

Сколько посетителей супермаркета A, посещает и супермаркет C? А сколько посетителей кафе D учится в университете E, где можно провести мощную рекламную компанию? Все это вполне разумные вопросы, если анализировать перемещение покупателей, конверсию рекламы и другие маркетинговые нюансы. Обширное поле для работы, интересное со всех сторон.

Трудности

Разумеется, в процессе внедрения системы, далеко не все шло так гладко, как хотелось бы нам. Более того, поскольку система дорабатывается и оптимизируется, она считается все еще внедренной не до конца, а находящейся в тестовом режиме.

Одной из существенных проблем, с которой столкнулись программисты, это большой объем данных, приходящих с большого количества точек. Эти данные необходимо обрабатывать «на лету» и принять решение о способе их дальнейшего использования.

Для решения проблем обработки и хранения большого количества данных были использованы в определённой степени новаторские алгоритмы кэширования, анализа и предсказания. Однако об этом мы можем поговорить отдельно.

Тенденции развития

Оказалось, что нашу систему можно использовать в качестве контроля сотрудников.
Например — вот сырые данные:

image

Любое устройство можно пометить (естественно с разрешения сотрудника) и потом видеть все его перемещения в течении дня:

image

Аналитика с помощью видео для таких целей неудобна, т. к. тяжело (практически невозможно) просмотреть даже целый день где находился сотрудник, а здесь можно увидеть сразу, причем в разрезе каждого дня:

image

Таким образом можно видеть во сколько сотрудник пришел на работу, какие точки он посещал, сколько времени он проводил на них, когда уходил на обед и во сколько пришел и т. д.

Затрагивая тему построения аналитики на основе использования WiFi-соединений, нельзя не вспомнить о концепции Internet Of Things (IoT) – концепции «Интернета вещей», сформулированной еще в 1999 году.

Напомним: это идея построения вычислительной сети из множества физических объектов («вещей»), которая смогла бы перестроить многие общественные и экономические процессы, исключая из части действий и операций участие человека.

В нашей системе, используя специальные Wi-Fi таги:

image
image

Можно также выдать их сотрудникам и видеть их перемещения, а можно закрепить их на каких-то объектах (тележки в супермаркете, дорогостоящие объекты на предприятии и тд) и также наблюдать и анализировать перемещения, но уже каких-то предметов.

Подобные Wi-Fi таги по функционалу похожи на широко разрекламированные в последнее время iBeaconы, но помимо своего идентификатора (мак адреса) могут слать еще и другие данные — у них есть акселерометр — можно видеть в движении объект или в покое, они шлют определенный сигнал, когда кончается батарейка, и у них есть кнопка Аларм.

Есть также двухдиапазонные Wi-Fi таги, которые работают со специальными рамками и могут слать идентификатор прохождения таких рамок на сервер.

Такие рамки сужают радиус прохождения тага через них — если нужна точность в 1.5 или 3 или 6 метров.

Вопросы

А какие аспекты системы кажутся вам особенно интересными, уважаемые читатели? Могли бы вы предложить свои идеи по поводу ее устройства и функционирования? В частности, мы еще не до конца определились с набором полезных метрик и элементов статистики.

Спасибо!

Особая благодарность Enom123 за предоставленный материал (пока, к сожалению, без инвайта, поэтому публикуем так).

Автор: Dageron

Источник


* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js