- PVSM.RU - https://www.pvsm.ru -
Рады представить наш новый Open Source-проект — elasticsearch-extractor [1]. Это простой веб-интерфейс, решающий единственную задачу: извлечение заданного индекса из снапшота Elasticsearch. Почему такой проект вообще появился?
Представьте, что у вас есть большое количество однотипных инсталляций Elasticsearch в Kubernetes, где хранятся и анализируются многочисленные логи от приложений и инфраструктуры. Схема довольно обычная:
Для анализа различных инцидентов может часто возникать ситуация, когда необходимо доставать логи из снапшотов. Как это делать? В первую очередь приходит идея использовать веб-утилиту Cerebro [2]. Она предоставляет широкие возможности по мониторингу кластера Elasticsearch и управлению его состоянием, включая работу с репозиториями снапшотов.
Однако, к сожалению, доступ ко всем функциям Cerebro избыточен и даже потенциально опасен. Для простой операции «извлечь такой-то индекс за такое-то число» не нужна возможность удалить репозиторий, снапшот или произвольный набор индексов. А разделение пользовательских прав в этом приложении не предусмотрено.
Так у нас и возникла потребность в простом инструменте, позволяющем решать одну задачу: извлечение нужного индекса в Elasticsearch. Им стал elasticsearch-extractor.
Код elasticsearch-extractor [1] написан на Go. Функционально утилита представляет собой:
Интерфейс максимально упрощен и исключает возможность ошибочных/опасных действий со стороны пользователя.
Список снапшотов, доступных в хранилище для извлечения
Используемые в интерфейсе блоки:
Для восстановления нужного индекса необходимо нажать на кнопку восстановления:
После этого появится модальное окно со списком индексов, которые находятся в выбранном снапшоте:
После нажатия на Restore в список Restored Indices добавится индекс с названием extracted_ORIGNALNAME-DD-MM-YYYY
.
Когда индекс полностью восстановится, появится возможность удалить его:
Либо он будет удален автоматически (задачей в curator) через 48 часов.
Важной особенностью является функция расчета необходимого места на узлах кластера Elasticsearch перед восстановлением индекса из снапшота. При нехватке свободного места (для размещения индекса) в восстановлении будет отказано. Это позволяет избежать проблем, когда индекс восстанавливается частично, занимает место и появляются UNASSIGNED-шарды.
Так как мы предполагаем, что все кластеры запущены в Kubernetes, при разработке утилиты была сознательно пропущена реализация каких-либо механизмов контроля доступа /и авторизации:
Утилиту elasticsearch-extractor можно установить в систему (Linux с systemd) или запускать в Docker-контейнере. Инструкции описаны в README проекта [3].
Исходный код проекта распространяется на условиях свободной лицензии (Apache License 2.0). Будем рады улучшениям [4] — равно как проблемам [5], обсуждениям [6] и, конечно, звёздам!
Читайте также в нашем блоге:
Автор: Борис
Источник [9]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/open-source/359768
Ссылки в тексте:
[1] elasticsearch-extractor: https://github.com/flant/elasticsearch-extractor
[2] Cerebro: https://github.com/lmenezes/cerebro
[3] README проекта: https://github.com/flant/elasticsearch-extractor/blob/main/README.md
[4] улучшениям: https://github.com/flant/elasticsearch-extractor/pulls
[5] проблемам: https://github.com/flant/elasticsearch-extractor/issues
[6] обсуждениям: https://github.com/flant/elasticsearch-extractor/discussions
[7] Как мы Elasticsearch в порядок приводили: разделение данных, очистка, бэкапы: https://habr.com/ru/company/flant/blog/490026/
[8] Логи в Kubernetes (и не только) сегодня: ожидания и реальность: https://habr.com/ru/company/flant/blog/480946/
[9] Источник: https://habr.com/ru/post/532538/?utm_source=habrahabr&utm_medium=rss&utm_campaign=532538
Нажмите здесь для печати.