Рубрика «выгрузка»

Elasticsearch, Kibana и Logstash (ELK) – отличный набор инструментов для сбора и визуализации большого количества данных.

Логи, журналы, события – всё это довольно легко собирается, мапится и отображается в едином инструментарии. Logstash мапит данные, Elasticsearch хранит их, а Kibana отображает в виде графиков.

При всей мощи этой связки, естественно, есть задачи, которые невозможно реализовать через встроенные возможности.

Например, Kibana прекрасно показывает данные в рамках одной таблицы (индекса), но как только дело доходит до объединения разных индексов в одну выборку, она беспомощно разводит руки.

И единственный способ решить задачу в этом случае – выгрузить данные из Kibana и объединить их в любом другом средстве, например, в Excel.

Простой пример. Представьте, что Ваша Ёлка (ELK) собирает и хранит события Jira – по любому изменению любой из задач таск-трекера.

В этом случае в индексе Elasticsearch по одной задаче будет храниться несколько записей:

Где же у него кнопка?! Как простому человеку выгрузить данные из Kibana и Elasticsearch и не напрягать при этом разрабов - 1
Читать полностью »

Создатели одного из крупнейших прокси TgProxy для Telegram раскрыли детали новой стратегии Роскомнадзора по блокировке IP-адресов. Похоже, регулятор принимает контрмеры против тех, кто отслеживает выгрузку и оперативно меняет IP-адреса. Через считанные минуты после обновления от Роскомнадзора свежая выгрузка выкладывается на Github. Изменения оперативно публикуются телеграм-ботами вроде @rknshowtime. Эти данные использует и сам Telegram, и различные прокси для обхода блокировок.

Утечка информации в паблик происходит через отдельных мелких операторов, которые получают выгрузку РКН — и сразу публикуют её для общего блага.

Так вот, теперь Роскомнадзор начал применять новую тактику. Вместо одинаковой выгрузки для всех операторов, судя по всему, теперь публикуется два вида выгрузки: одна для крупных (основных) операторов вроде «Вымпелкома» с бóльшим количеством заблокированных IP-адресов, а вторая выгрузка — для мелких операторов, она и сливается в паблик.
Читать полностью »

Данные, которые собирает AppMetrica, можно заставить работать как угодно, а не только для аналитики. Они позволяют автоматизировать множество процессов, прямо или косвенно связанных с поведением пользователей. О том, как настроить выгрузку, что за данные можно использовать и какие подводные камни встретились при разработке Logs API, рассказал разработчик Николай Волосатов.

Читать полностью »