Рубрика «Apache»

Работая с аналитикой, мы часто сталкиваемся с одной и той же проблемой: данные есть, но исследовать их неудобно.

Представим типичную ситуацию. Есть таблица с десятками колонок и миллионами строк. Нужно понять, почему изменился какой-то показатель — например, выручка или конверсия. Обычно это превращается в цепочку SQL-запросов: сначала агрегируем данные по стране, потом по городу, потом по конкретному сегменту пользователей и тд.

Если таких гипотез несколько, количество запросов быстро растёт с геометрической прогрессией. Каждый новый уровень детализации требует отдельного SQL.

Читать полностью »

Kafka

Kafka

Зачем нужна Kafka

Kafka — это распределённая платформа для обмена сообщениями (часто её называют брокером сообщений). Звучит сложно? Согласен. Давайте разбираться на простом примере.

Представьте интернет-магазин. У нас есть два сервиса:

1. Введение

Рынок BI-инструментов, как и любой другой сильно меняется в последние годы. Все чаще фокус компаний смещается в сторону open-source инструментов по понятным причинам. В этом мире высокая конкуренция - DataLens, Superset, Metabase и т.д. Есть хорошая статья с базовыми сравнениями BI-систем. Прекрасно, чтобы вкатится. Но невозможно в рамках одной статьи рассмотреть преимущества и недостатки каждой BI-системы. Поэтому мы пойдем немного другим путем - посмотрим на то, что выбирают топы рынка РФ, а затем кратко Читать полностью »

Сгенерировано c помощью GigaChat

Сгенерировано c помощью GigaChat

Моя первая статья, поэтому попрошу судить не слишком строго.

ДИСКЛЕЙМЕР: Данная статья предполагает, что у Вас уже есть Windows 10/11 с установленным WSL-дистрибутивом Ubuntu 20.04 или выше.
ВТОРОЙ ДИСКЛЕЙМЕР: Если Вам нужно сразу руководство,

Читать полностью »

Эта статья реализована в стиле HOWTO, поэтому не будет долгого вступления. Предполагается, что люди, нуждающиеся в механизме CLS, уже знают многие базовые вещи (поэтому каждую сущность разжевывать не будем - ссылки на самостоятельное изучение будут оставлены). Цель статьи - показать способ реализации ролевого доступа к колонкам при визуализации в Apache Superset. Итак, поехали.

Многие, наверняка, слышали про RLS (Row Level Security) в Apache SupersetЧитать полностью »

Привет! Я Сергей Житинский, CEO DevOps-компании «Git in Sky». В статье расскажу, как настроить мониторинг Apache NiFi и алерты при переполнении очереди по достижении 8000 FlowFiles.

Зачем вам читать эту статью? Переполнение очереди FlowFiles в Apache NiFi может привести к замедлению или остановке обработки данных, мониторинг позволит своевременно среагировать на проблемы с производительностью и выявить узкие места.

Статей о том, что такое Apache NiFi, довольно много: РазЧитать полностью »

Superset не самый новый bi-инструмент, но его популярность продолжает расти. На мой взгляд, он достаточно прост в освоении, но все же требует некоторых усилий и времени, чтобы разобраться куда тыкать, чтобы загрузить данные и нарисовать красивый отчет. Лично я за свою карьеру в IT уже второй раз сталкиваюсь с необходимостью переезда на этот инструмент. Он снова новый для компании и многие сотрудники с ним раньше не работали. Поэтому я и решила написать статью-шпаргалку, которая поможет в несколько кликов создать работающий дашборд и всегда будет под рукой.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js