Рубрика «Apache»

Все началось с того, что мне поставили задачу: «У менеджеров есть большой телевизор. Сделай так чтобы у них там крутились красивые циферки и графики с результатами продаж».

Перенос данных из отчетов 1С в PostgreSQL в два клика - 1

Условия задачи:

  1. Данные берем из 1С

  2. Читать полностью »

Работая с аналитикой, мы часто сталкиваемся с одной и той же проблемой: данные есть, но исследовать их неудобно.

Представим типичную ситуацию. Есть таблица с десятками колонок и миллионами строк. Нужно понять, почему изменился какой-то показатель — например, выручка или конверсия. Обычно это превращается в цепочку SQL-запросов: сначала агрегируем данные по стране, потом по городу, потом по конкретному сегменту пользователей и тд.

Если таких гипотез несколько, количество запросов быстро растёт с геометрической прогрессией. Каждый новый уровень детализации требует отдельного SQL.

Читать полностью »

Kafka

Kafka

Зачем нужна Kafka

Kafka — это распределённая платформа для обмена сообщениями (часто её называют брокером сообщений). Звучит сложно? Согласен. Давайте разбираться на простом примере.

Представьте интернет-магазин. У нас есть два сервиса:

1. Введение

Рынок BI-инструментов, как и любой другой сильно меняется в последние годы. Все чаще фокус компаний смещается в сторону open-source инструментов по понятным причинам. В этом мире высокая конкуренция - DataLens, Superset, Metabase и т.д. Есть хорошая статья с базовыми сравнениями BI-систем. Прекрасно, чтобы вкатится. Но невозможно в рамках одной статьи рассмотреть преимущества и недостатки каждой BI-системы. Поэтому мы пойдем немного другим путем - посмотрим на то, что выбирают топы рынка РФ, а затем кратко Читать полностью »

Сгенерировано c помощью GigaChat

Сгенерировано c помощью GigaChat

Моя первая статья, поэтому попрошу судить не слишком строго.

ДИСКЛЕЙМЕР: Данная статья предполагает, что у Вас уже есть Windows 10/11 с установленным WSL-дистрибутивом Ubuntu 20.04 или выше.
ВТОРОЙ ДИСКЛЕЙМЕР: Если Вам нужно сразу руководство,

Читать полностью »

Эта статья реализована в стиле HOWTO, поэтому не будет долгого вступления. Предполагается, что люди, нуждающиеся в механизме CLS, уже знают многие базовые вещи (поэтому каждую сущность разжевывать не будем - ссылки на самостоятельное изучение будут оставлены). Цель статьи - показать способ реализации ролевого доступа к колонкам при визуализации в Apache Superset. Итак, поехали.

Многие, наверняка, слышали про RLS (Row Level Security) в Apache SupersetЧитать полностью »

Привет! Я Сергей Житинский, CEO DevOps-компании «Git in Sky». В статье расскажу, как настроить мониторинг Apache NiFi и алерты при переполнении очереди по достижении 8000 FlowFiles.

Зачем вам читать эту статью? Переполнение очереди FlowFiles в Apache NiFi может привести к замедлению или остановке обработки данных, мониторинг позволит своевременно среагировать на проблемы с производительностью и выявить узкие места.

Статей о том, что такое Apache NiFi, довольно много: РазЧитать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js