Руководство пользователя Kibana. Визуализация. Часть 3

в 15:15, , рубрики: open source, SIEM, визуализация данных, интерфейсы, информационная безопасность, логирование

Третья часть перевода официальной документации по визуализации данных в Kibana.
Ссылка на оригинальный материал: Kibana User Guide [6.6] » Visualize
Ссылка на 1 часть: Руководство пользователя Kibana. Визуализация. Часть 1
Ссылка на 2 часть: Руководство пользователя Kibana. Визуализация. Часть 2

Goal and Gauge

Визуализация задачи выводит, как ваши метрика продвигается к фиксированной цели. Визуализация датчика выводит, в какой определенный диапазон попадает метрика.
Метрические агрегации:

Count. Агрегация подсчета возвращает чистый подсчет элементов в выбранном шаблоне индекса.
Average. Данная агрегация возвращает среднее значение по числовому полю. Выбирайте поле из выпадающего списка.
Sum. Возвращает общую сумму по числовому полю. Выбирайте поле из выпадающего списка.
Min. Возвращает минимальное значение по числовому полю. Выбирайте поле из выпадающего списка.
Max. Возвращает максимальное значение по числовому полю. Выбирайте поле из выпадающего списка.
Unique Count. Кардинальная агрегация возвращает число уникальных значений в поле. Выбирайте поле из выпадающего списка.
Standard Deviation. Агрегация общей статистики возвращает стандартное отклонение данных в числовом поле. Выбирайте поле из выпадающего списка.
Top Hit. Агрегация топовых значений возвращает один или больше топовых значений из специального поля в вашем документе. Выбирайте поле из выпадающего списка, тип сортировки документов, количество значений, которые нужно вернуть.
Percentiles. Агрегация процентов разделяет значения числового поля на заданные диапазоны. Выбирайте поле из выпадающего списка, затем определите одну или больше областей в полях Percentiles. Кликните X для удаления поля процентов. Кликните +Add для добавления процентного поля.
Percentile Rank. Агрегация процентного ранга возвращает процентное ранжирование по выбранному числовому полю. Выбирайте поле из выпадающего списка, затем определите один или больше значений процентного ранга в полях Values. Кликните X для удаления поля значения. Кликните +Add для добавления поля значений.

Агрегации родительских источников данных:
Для каждой агрегации родительского источника информации необходимо определить метрику, для которой агрегация высчитана. Это может быть одна из уже существующих метрик или новая. Вы также можете вкладывать эти агрегации (к примеру, для получения третей производной).

Derivative. Агрегация производной подсчитывает производную определенных метрик.
Cumulative Sum. Агрегация накопительной суммы подсчитывает накопительную сумму определенных метрик в родительской гистограмме.
Moving Average. Агрегация скользящего среднего будет вставлять окно сквозь данные и писать среднее значение этого окна.
Serial Diff. Последовательное дифференцирование — это метод, где значения во временном ряде отнимаются от самых себя в другой временной период или задержки.

Агрегации родственного источника:
Как и в случае с агрегациями родительских источников, вам необходимо указать метрику по которой будет высчитываться агрегация родственного источника. Кроме этого, вам необходимо предусмотреть агрегацию сегментов, которая будет определять на каких сегментах агрегация будет запускаться.

Average Bucket. Среднее сегмента вычисляет среднее значение определенных метрик в агрегации родственных источников.
Sum Bucket. Высчитывает сумму значений определенной метрики в агрегации родственного источника.
Min Bucket. Возвращает минимальное значение определенной метрики в агрегации родственного источника.
Max Bucket. Возвращает максимальное значение определенной метрики в агрегации родственного источника.

Вы можете создать агрегацию кликнув на кнопке + Add Metrics.
Введите строку в поле Custom Label, чтобы изменить подпись.
Вы можете кликнуть по ссылке Advanced что бы отобразить больше опций:

JSON Input. Текстовое поле, где вы можете добавить специфичные свойства в формате JSON для слияния с определенной агрегацией, как нижеследующем примере:

{ "script" : "doc['grade'].value * 1.2" }

Примечание. В Elasticsearch 1.4.3 и позже этот функционал нуждается во включенном динамическом скриптинге Groovy.
Доступность этих параметров зависит от выбранной вами агрегации.
Выберите вкладку Options что бы изменить следующие параметры:

Gauge Type выбирает между типами дуга, круг и вывод метрики.
Percentage Mode показывает все значения в процентах.
Vertical Split разместит датчики один над другим, а не один рядом с другим.
Show Labels определяет показывать или скрывать подписи.
Sub Text для метки, что появляется под значением.
Auto Extend Range автоматически увеличивает датчик, если значение больше определенного.
Ranges позволяет добавлять собственные ранги. Каждый ранг связывается с цветом. Если значение попадает в этот диапазон, ему будет присвоен этот цвет.

  • Схемы с одним рангом называются схемой goal.
  • Схема с несколькими диапазонами называются схемой gauge. Схемы датчика инициализируются с предопределенным набором диапазонов. Отрегулируйте их в соответствии с потребностями ваших наборов данных и варианта использования.
  • Внимание: форматирование поля может применяться к отображаемому значению из-за чего значения диапазона и отображаемые значения будут разными. К примеру: форматирование поля байтов примененное к полю метрики будет отображаться, как "30 МБ". Первоначальное значение в действительности ближе к 30 000 000 байт. Вам необходимо установить свой диапазон значений в первоначальных значениях, а не в форматированное.
  • Color Options определяет цвет ваших рангов (какая цветовая схема используется). Цветовые опции видимы только, если определено более одного ранга.
  • Style — Show Scale показывает или скрывает масштаб.
  • Style — Color Labels обозначает, должны ли метки быть одного цвета с диапазоном, в который попадает значение.

Pie Charts

Размер долей диаграммы определяется метрической агрегацией. Следующие агрегации доступны для этого измерения:

Count. Агрегация подсчета возвращает чистый подсчет элементов в выбранном шаблоне индекса.
Sum. Возвращает общую сумму по числовому полю. Выбирайте поле из выпадающего списка.
Unique Count. Кардинальная агрегация возвращает число уникальных значений в поле. Выбирайте поле из выпадающего списка.

Введите строку в поле Custom Label что бы изменить подпись.
Агрегации сегментов определяют что за информация будет извлекаться из набора данных.
До того, как вы выберите агрегацию сегментов, определите: вы будете разделять сегменты в пределах одной диаграммы или разбивать на несколько диаграмм. Разделение на несколько графиков должно быть выполнено перед любыми другими агрегациями. Когда вы разделяете диаграмму, вы можете изменить отображение расщепления на столбцы или строки, кликнув селектор Rows | Columns.
Вы можете определить любую из следующих агрегаций сегмента для вашей диаграммы:

Date Histogram. Временная гистограмма построена на основе числового поля и организована по дате. Вы можете определить временные рамки для интервалов в секундах, минутах, часах, днях, неделях, месяцах или годах. Вы также можете определить интервал по умолчанию, выбрав Custom в качестве интервала и указав число и единицу времени в текстовом поле. По умолчанию единицами временного интервала являются: s для секунд, m для минут, h для часов, d для дней, w для недель, y для лет. Различные единицы поддерживают различные уровни точности, вплоть до одной секунды. Интервалы подписываются в начале интервала, используя ключ-дату, который возвращается из Elasticsearch. Для примера, на всплывающей подсказке для месячного интервала будет отображаться первый день месяца.
Histogram. Стандартная гистограмма строится на основе числового поля. Определите целочисленный интервал для этого поля. Установите флажок Show empty buckets, чтобы включить пустые интервалы в гистограмму.
Range. С помощью агрегации рангов вы можете определить ранги для значений числового поля. Кликните Add Range для добавления набора конечных точек ранга. Кликните красный символ (x), чтобы удалить ранг.
Date Range. Агрегация временного ранга сообщает значения, которые находятся в указанном диапазоне дат. Вы можете указать диапазоны дат, используя математические выражения даты. Кликните Add Range, чтобы добавить набор конечных точек ранга. Кликните красный символ (x), чтобы удалить ранг.
IPv4 Range. Агрегация IPv4 ранга позволяет вам определить диапазоны IPv4 адресов. Кликните Add Range, чтобы добавить набор конечных точек ранга. Кликните красный символ (x), чтобы удалить ранг.
Terms. Агрегация значений позволяет вам определить верхние или нижние n элементов данного поля для отображения, упорядоченные по количеству или пользовательской метрике.
Filters. Вы можете определить набор фильтров для данных. Возможно указать фильтр как строку запроса или в формате JSON, так же как и в поисковой вкладке Discover. Кликните Add Filter, чтобы добавить другой фильтр. Кликните кнопку label, чтобы открыть поле подписи, где вы можете напечатать имя для отображения на визуализации.
Significant Terms. Выводит результаты экспериментальной агрегации знаковых значений. Значение параметра Size определяет число вхождений, что возвращает агрегация.

После определения начальной агрегации сегмента, вы можете можете определить под-сегменты для улучшения визуализации. Кликните + Add sub-buckets что бы определить под-агрегацию, затем выберите Split Slices для выбора под-сегмента из списка типов.
Когда несколько агрегаций определенны на оси диаграммы, вы можете использовать стрелочки вверх и вниз справа от типа агрегации для смены приоритета агрегации.
Вы можете настроить цвета вашей визуализации, кликнув цветную точку рядом с каждой подписью что бы отобразить цветовую палитру.
image
Введите строку в поле Custom Label что бы изменить подпись.
Вы можете кликнуть по ссылке Advanced что бы отобразить больше опций для ваших метрик или агрегации сегмента:

Exclude Pattern. Укажите шаблон в этом поле что бы исключить с результатов.
Include Pattern. Укажите шаблон в этом поле что бы включить в результаты.
JSON Input. Текстовое поле, где вы можете добавить специфичные свойства в формате JSON для слияния с определенной агрегацией, как нижеследующем примере:

{ "script" : "doc['grade'].value * 1.2" }

Примечание. В Elasticsearch 1.4.3 и позже этот функционал нуждается во включенном динамическом скриптинге Groovy.
Доступность этих параметров зависит от выбранной вами агрегации.
Выберите вкладку Options для изменения следующих аспектов таблицы:

Donut. Выводит диаграмму как нарезанное кольцо, а не порезанное кольцо.
Show Tooltip. Отметьте эту опцию для включения показа подсказок

После изменения опций, кликните кнопку Apply changes для обновления вашей визуализации или серую кнопку Discard changes для поддержания визуализации в текущем состоянии.

Coordinate Maps

Карта координат выводит географическую зону покрытую кружками, связанными с данными из сегментов, что вы определили.
Примечание. По умолчанию, Kibana использует Elastic Maps Service для отображения плиток карты. Для использования других поставщиков карт, отредактируйте поле конфигурации tilemap settings в kibana.yml.

Конфигурация
Данные
Метрики

По умолчанию, метрическою агрегацией для карты координат есть агрегация Count. Вы можете выбрать любую из следующих агрегаций в качестве метрической агрегации:

Count. Агрегация подсчета возвращает чистый подсчет элементов в выбранном шаблоне индекса.
Average. Данная агрегация возвращает среднее значение по числовому полю. Выбирайте поле из выпадающего списка.
Sum. Возвращает общую сумму по числовому полю. Выбирайте поле из выпадающего списка.
Min. Возвращает минимальное значение по числовому полю. Выбирайте поле из выпадающего списка.
Max. Возвращает максимальное значение по числовому полю. Выбирайте поле из выпадающего списка.
Unique Count. Кардинальная агрегация возвращает число уникальных значений в поле. Выбирайте поле из выпадающего списка.

Введите строку в поле Custom Label, чтобы изменить подпись.

Сегменты

Карты координат используют агрегацию геохешей. Выберите поле, типичные координаты из выпадающего списка.

  • Функция "Изменять точность при зуме карты" (Change precision on map zoom) по умолчанию включена. Снимите галочку, чтобы выключить эту возможность. Слайдер Precision определяет гранулированость результатов, что отображаются на карту. См. документацию по агрегации сетки геохешей для деталей по области, определенной для каждого уровня четкости.
    Примечание. Более высокая точность увеличивает нагрузку на память браузера, что отображает Kibana, так же как и на кластер Elasticsearch.
  • Функция "Размещать маркеры за пределами сетки (используя геоцентроид)" (place markers off grid) по умолчанию включена. Когда эта строка отмечена, маркеры размещаются в центре всех документов в этом сегменте. Когда не отмечена, маркеры размещаются в центре сетки геохешей. Если оставить этот флажок, то обычно визуализация будет более точной.

Введите строку в поле Custom Label, чтобы изменить подпись.
Вы можете кликнуть по ссылке Advanced что бы отобразить больше опций для ваших метрик или агрегации сегмента:

Exclude Pattern. Укажите шаблон в этом поле что бы исключить с результатов.
Include Pattern. Укажите шаблон в этом поле что бы включить в результаты.
JSON Input. Текстовое поле, где вы можете добавить специфичные свойства в формате JSON для слияния с определенной агрегацией, как в нижеследующем примере:

{ "script" : "doc['grade'].value * 1.2" }

Примечание. В Elasticsearch 1.4.3 и позже этот функционал нуждается во включенном динамическом скриптинге Groovy.
Доступность этих параметров зависит от выбранной вами агрегации.

Опции

Map type. Выберите одну или несколько следующих опций из выпадающего списка:
Scaled Circle Markers. Масштабируйте размер маркеров на основе значения метрической агрегации.
Shaded Circle Markers. Выводит маркеры с разными тенями, основанными на значении метрической агрегации.
Shaded Geohash Grid. Отображает прямоугольные ячейки сетки геохешей вместо круглых маркеров с разными оттенками, основанными на значении метрической агрегации.
Heatmap. Тепловая карта применяет размытие к круговым маркерам и интенсивность цвета в зависимости от суммы совпадений. Тепловые карты имеют следующие опции:

  • Cluster size: укажите размер кластеризации тепловой карты.
  • Show Tooltip: установите этот флажок что бы выводить подсказку со значениями для данной точки, когда наведен курсор.

Desaturate map tiles. Обесцвечивает цвет карты, чтобы сделать маркеры более четкими.
WMS compliant map server. Отметьте эту функцию для использования посторонних сервисов сопоставления, что соответствует стандарту Web Map Service (WMS). Необходимо указать следующие элементы:

  • WMS url: URL для сервиса карт WMS.
  • WMS layers: список (через запятую) слоев, что используется в этой визуализации. Каждый сервер карт предоставляет собственный список слоев.
  • WMS version: версия WMS, что используется этим сервисом карт.
  • WMS format: формат изображения, что используется этим сервисом карт. Два самих используемых формата это image/png и image/jpeg.
  • WMS attribution: опционально, строка, определенная пользователем, что идентифицирует источник карты. Карты выводят строку атрибута в левом нижнем углу.
  • WMS styles: список (через запятую) стилей, что используются в этой визуализации. Каждый сервер карт поддерживает собственные параметры стилей.

После изменения опций, кликните кнопку Apply changes для обновления вашей визуализации или серую кнопку Discard changes для поддержания визуализации в текущем состоянии.

Навигация карты

Теперь, когда визуализация плиток карты готова, вы можете исследовать ее несколькими способами:

  • кликните и удерживайте либо-где на карте и двигайте курсор для перемещения центра карты. Удерживайте Shift и тащите прямоугольник через карту для увеличения выбранного.
  • кликните кнопки Zoom In/Out для изменения уровня масштаба вручную.
  • кликните кнопку Fit Data Bounds для автоматического обрезания границ карты до сегментов геохеша, который имеет хотя бы один результат.
  • кликните кнопку Latitude/Longitude Filter, затем протяните прямоугольник через карту для создания фильтра для координат прямоугольника.

Автор: Violka

Источник


* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js