Splunk 7.2 Что нового? SmartStore, управление нагрузкой и многое другое…

в 7:33, , рубрики: big data, splunk, Блог компании TS Solution, машинное обучение, системное администрирование

Splunk 7.2 Что нового? SmartStore, управление нагрузкой и многое другое… - 1

Несколько дней назад компания Splunk выпустила новый релиз своей платформы Splunk 7.2, в котором появилось множество нововведений для оптимизации работы, в том числе новая схема хранения данных, администрирование используемой производительности и многое другое. Подробности смотрите под катом.

SmartStore

SmartStore – это новый способ управления хранилищами данных в Splunk. Раньше все данные хранились в индексерах, это позволяло данным быть легко доступными для обработки. При необходимости расширения объема к кластеру добавлялся новый индексер. Эта модель отлично подходит для низких и средних объемов данных. Когда вы добавляете больше данных, вам требуется не только больше места, но и больше вычислительной мощности. Однако с экспоненциально растущими объемами данных спрос на хранилища опережает спрос на возможность быстрого вычисления. SmartStore позволяет размещать данные как локально на индексерах или на удаленных хранилищах. Движение данных между индексерами и удаленным хранилищем управляется с помощью менеджера кэша, который находится на индексерах.

С помощью SmartStore вы можете уменьшить размер хранилища индексера до минимума и выбрать оптимальные вычислительные ресурсы для ввода-вывода. Большинство данных хранится на удаленном хранилище, в то время как в индексере содержится локальный кеш, который содержит минимальный объем данных: горячие данные, копии теплых данных, участвующих недавно в поисках.

Splunk 7.2 Что нового? SmartStore, управление нагрузкой и многое другое… - 2

Когда лучше использовать SmartStore?

  • Инфраструктурные затраты замедляют масштабирование и ограничивают время хранения данных.
  • Архивирование данных не является доступным решением, так как старые данные (~ 1 год) должны быть доступны для поиска.
  • Большое развертывание Splunk, обычно это более ~ 10 индексеров.
  • Большинство (более 95%) запросов выполняется для последних данных (менее 90 дней).
  • Поисковые запросы для более старых данных (> 90 дней) являются редкими, и медленная производительность поиска вполне приемлема.

Workload Management

Splunk 7.2 Что нового? SmartStore, управление нагрузкой и многое другое… - 3

Workload Management — это механизм, основанный на политике резервирования системного ресурса (ЦП, памяти) для загрузки данных и выполнения поисковых запросов в соответствии с бизнес-приоритетами. Это позволяет администраторам классифицировать рабочие нагрузки в разные группы и резервировать части системных ресурсов (ЦП, память) на группу рабочей нагрузки независимо от общей нагрузки на систему.

Когда лучше использовать?

  • Для указания приоритета выполнения ключевых запросов и задач;
  • Чтобы ограничить влияние на общую производительность тяжелых поисковых запросов;
  • Для избегания задержек при загрузке данных из-за затраченных ресурсов на поиск.

Мониторинг работоспособности Splunk в режиме реального времени

Splunk 7.2 Что нового? SmartStore, управление нагрузкой и многое другое… - 4

В релизе 7.2 значительно расширен инструментарий мониторинга работоспособности Splunk. Теперь доступен диспетчер отчетов о работоспособности, через который можно включать / отключать функций и устанавливать пороговые значений для отдельных функций прямо через графический интерфейс.

Также можно настроить оповещения о работоспособности Splunk на электронную почту, Telegram, Slack и др.

Splunk 7.2 Что нового? SmartStore, управление нагрузкой и многое другое… - 5

Метрики

Также на новый уровень вышли функции по работе с метриками. Во-первых, появился абсолютно новый инструмент по анализу и мониторингу метрик без использования поисковых запросов — Splunk Metrics Workspace. Он предоставляет простой в использовании интерфейс визуального анализа. Вы можете создавать интерактивные визуализации в рабочей области, выполнять различные аналитические функции, чтобы получить представление о показателях.

Splunk 7.2 Что нового? SmartStore, управление нагрузкой и многое другое… - 6

Аналитические операции и функции:

  • Агрегирование
  • Сравнение времени — наложение предыдущего графика на текущий график.
  • Разделение — показывает результаты для определенного измерения.
  • Фильтры — включение или исключение определенных результатов.

Во-вторых, появилась возможность преобразование структурированных и неструктурированных логов в метрики. Раньше существовало два основных метода приема метрик в Splunk: с помощью таких агентов, как statsd и collectd, а также путем создания и хранения данных с помощью mcollect. Новая функция «Log to Metrics» позволяет платформе Splunk конвертировать журналы, содержащие метрические данные, в точки данных дискретных показателей. Также можно определить показатели, которые должны быть извлечены как метрики, и создать черный список полей, которые не должны отображаться в метрических данных

Splunk 7.2 Что нового? SmartStore, управление нагрузкой и многое другое… - 7

MTLK 4.0

С новым релизом Splunk выходит и новая версия Splunk Machine Learning Toolkit. О предыдущих релизах MTLK мы писали ранее, а сейчас посмотрим, что нового появилось сейчас.

Интеграции:

  • TensorFlow
  • Apache Spark
  • GitHub

Новые алгоритмы:

  • LocalOutlierFactor
  • MLP Classifier

Оценка алгоритмов

  • Функция score
  • Кросс-валидация (параметр kfold_cv)

Splunk 7.2 Что нового? SmartStore, управление нагрузкой и многое другое… - 8

Управляемый Data Onboarding

Новый графический пользовательский интерфейс с руководством по загрузке данных, помогающий пользователям Splunk понять важнейшие концепции получения данных из различных источников в Splunk.

Splunk 7.2 Что нового? SmartStore, управление нагрузкой и многое другое… - 9

Поддержка Docker

С выпуском Enterprise 7.2 пользователи Splunk теперь имеют возможность развертывания Splunk в контейнере Docker. Контейнер представляет собой легкий программный пакет, который объединяет код приложения вместе со средой выполнения, инструментами, системными библиотеками и настройками среды, необходимыми для его выполнения. Это позволяет абстрагировать приложения из среды, в которой они выполняются, изолировать их от других приложений и упрощает масштабирование.

Splunk 7.2 Что нового? SmartStore, управление нагрузкой и многое другое… - 10

Темный интерфейс

Да, да! Теперь появилась возможность использовать темную тему, разработанную дизайнерами Splunk, в своих дашбордах. Конечно, раньше тоже можно было настроить темный фон дашборда, используя СSS, но чтобы тема смотрелась нормально, нужно было еще подбирать и добавлять цветовую палитру для всех элементов, а это довольно муторно. Теперь же этот вопрос решается нажатием одной кнопки.

Splunk 7.2 Что нового? SmartStore, управление нагрузкой и многое другое… - 11

Для наиболее глубокого изучения всех новых функций стоит установить приложение Splunk Enterprise 7.2 Overview, а также посмотреть официальное видео релиза.

Если вы все еще не пробовали Splunk, то самое время начать, бесплатная версия до 500Мб в сутки доступна всем желающим. А если у вас есть вопросы или проблемы со Splunk — вы можете задать их нам, а мы поможем.

Мы являемся официальным Premier Партнером Splunk.

Splunk 7.2 Что нового? SmartStore, управление нагрузкой и многое другое… - 12

Автор: JuliaKoroleva

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js