- PVSM.RU - https://www.pvsm.ru -
Приветствую всех.
Хочу показать свой проект над которым я с коллегой работал последние месяцы.
Вкратце его можно охарактеризовать как Appstore + tracking + Big Data.
Все началось с того, что я заинтересовался, какие события происходят в Эпл Аппсторе, и как они влияют на рейтинги приложений.
И при этом я был крайне недоволен статистикой которую предоставляют мне такие компании как Appannie или Distimo.
Из мелких скриптов мониторинга «а что же там происходит?» и родился этот проект.
Что делает Statsios.com?
Он агрегирует весь Аппстор, каждый день, и строит полную историю изменений всех приложений, локализаций, рейтингов, цен… Всего.
При этом, у нас всегда под рукой полный и достаточно актуальный слепок Аппстора, откуда можно выудить (читай, data mining) некоторые интересные факты, не так широко известные общественности.
Мы надеемся что эта информация окажется полезной паблишерам приложений как средство мониторинга (например конкурентов или просто успешных приложений).
У нас прикручен поисковый движок; также мы предоставляем API ко всем этим данным, в надежде что кто-то сможет получить из них еще большую пользу.
Ссылка: statsios.com [1]
Как это работает изнутри?
Поначалу дело казалось нехитрым. Первых несколько версий работали как http парсеры. Приходилось держать ферму воркеров, да еще и списки прокси, т. к. со временем политика Apple по поводу агрегации ухудшилась.
В конечном итоге отказались, т.к. удалось получить доступ к Enterprise Partner Feed (сокращенно EPF) — каждодневный (почти)полный слепок Аппстора от Apple, специально для партнеров и аффилейтов.
Если быть точным — то каждый день выкладывается инкрементальный слепок, и раз в неделю — полный. Это несколько десятков гигабайт данных каждый день которые нужно стянуть, обработать и сохранить.
С февраля у нас накопилось ~500 Гигабайт горячих данных (с учетом индексов и того что некоторые данные перепакованы для удобства выборки).
Естественно в проекте присутствуют недоработки, неточности, и просто баги. В экспериментальном режиме мы начали агрегировать упоминания ссылок на Аппстор в социальных сетях. Для отображения кумулятивного рейтинга приложения мы будем еще регулировать коэффициенты для стран/категорий (USA/ActionGames естественно, самый высокий). В целом, понять что происходит, можно.
Иногда баги встречаются в самом EPF. Один такой баг я зарепортил в Apple, и через несколько недель получил ответ о том что бага пофикшена.
Технические подробности реализации, если будет интересно, я сделаю отдельной публикацией в соответствующем блоге.
Автор: Urn
Источник [5]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/apple/38328
Ссылки в тексте:
[1] statsios.com: http://statsios.com
[2] Aleksandr Drozdov: http://statsios.com/?page=sellerdetails&Widget_SellerDetails_sellername=Aleksandr+Drozdov
[3] Xu Cun Lu: http://statsios.com/?page=sellerdetails&Widget_SellerDetails_sellername=Xu+Cun+Lu
[4] Big Fish Games: http://statsios.com/?page=sellerdetails&Widget_SellerDetails_sellername=Big+Fish+Games%2C+Inc
[5] Источник: http://habrahabr.ru/post/186032/
Нажмите здесь для печати.