Вообще, эта статья — по сути краткий обзор современных инструментов логирования, которые часто используются в.NET. Но из‑за того, что настройка ELK — относительно трудоемкий процесс, весь фокус по итогу сместился в сторону использования сего стека. Я просто смирился с этим. Надеюсь, мой опыт сэкономит время и силы читателю, желающему ознакомиться с ELK.
Рубрика «elk»
Я разобрался с ELK в .NET, чтобы вам не пришлось
2025-06-28 в 17:35, admin, рубрики: .net, elk, opentelemetry, логированиеПродуктовый поиск на ElasticSearch
2025-03-29 в 15:51, admin, рубрики: elasticsearch, elk, fuzzy search, rag, поиск, продуктовый подход-
Введение
-
Видение
-
Подготовка (ака тоже лайфхак)
-
Лайфхак (без кода пока что)
-
Метрики
Введение
Из-за санкций, Elasticsearch многие стали отвергать. Единственное, что его спасает, это RAG'и шмаги. Я первую работу выбрала в поисковом отделе, для меня это было завлекательнее, чем datascience, с которым я была уже знакома. 8 лет назад начала изучать эластик. Наработалась "интуиция" на его функционал, так как с нуля я делала поиск для других компаний несколько раз. Поиск текстовый, GEO поиск, подсказки для поиска (suggester) и с МЛ'ем которым майнились синонимы или кластеризовались запросы.
Изучаем ELK. Часть I — Установка Elasticsearch
2021-01-23 в 10:10, admin, рубрики: devops, elasticsearch, elk, системное администрирование
Вступительное слово
Эта статья является первой в серии статей по стеку Elasticsearch, Logstash, Kibana (ELK). Цикл статей ориентирован на тех, кто только начинает знакомится со стеком ELK, и содержит минимально необходимый набор знаний, чтобы успешно запустить свой первый кластер ELK.
В рамках данного цикла будут рассмотрены такие темы, как:
-
установка и настройка компонентов ELK,
Распределенное логирование и трассировка для микросервисов
2019-10-31 в 11:08, admin, рубрики: elasticsearch, elk, graylog, neo4j, postgresql, zipkin, Администрирование баз данных, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, делой, логи, логирование, метрики, микросервисы, системное администрирование, трассировка, хранение данныхЛогирование — важная часть любого приложения. Любая система логирования проходит три основных шага эволюции. Первый — вывод на консоль, второй — запись логов в файл и появление фреймворка для структурированного логирования, и третий — распределенное логирование или сбор логов различных сервисов в единый центр.
Если логирование хорошо организовано, то позволяет понимать, что, когда и как идет не так, как задумано, и передавать нужную информацию людям, которым предстоит эти ошибки исправлять. Для системы, в которой каждую секунду отправляется 100 тысяч сообщений в 10 дата-центрах на 190 стран, а 350 инженеров каждый день что-то деплоят, система логирования особенно важна.
Иван Летенко — тимлид и разработчик в Infobip. Чтобы решить проблему централизованной обработки и трассировки логов в микросервисной архитектуре при таких огромных нагрузках, в компании пробовали различные комбинации стека ELK, Graylog, Neo4j и MongoDB. В итоге, спустя много грабель, написали свой лог-сервис на Elasticsearch, а как БД для дополнительной информации взяли PostgreSQL.
Под катом подробно, с примерами и графиками: архитектура и эволюция системы, грабли, логирование и трассировка, метрики и мониторинг, практика работы с кластерами Elasticsearch и их администрирования в условиях ограниченных ресурсов.
Читать полностью »
Следим за изменением файлов с помощью Alerting OpenDistro for Elasticsearch
2019-07-10 в 15:20, admin, рубрики: alert, Amazon Web Services, big data, devops, elkСегодня возникла потребность в мониторинге изменений определенных файлов на сервере, существует много разных способов например osquery от facebook, но так как недавно я начал пользоваться Open Distro for Elasticsearch решил мониторить файлы эластиком, одним из его beat'ов.
Логирование в распределенном php-приложении
2019-06-19 в 5:54, admin, рубрики: devops, docker, elastalert, elk, filebeat, kibana, laravel, logstash, monolog, php, журналирование, лог, логгирование, логирование, Программирование, Разработка веб-сайтов
В статье пойдет речь о том, какую пользу оказывает логирование. Расскажу о логах по PSR. Добавлю немного личных рекомендаций по работе с уровнем, сообщением и контекстом логируемого события. Будет приведен пример, как можно организовать логирование и мониторинг с помощью ELK в приложении, написанном на Laravel и запущенном через Docker на нескольких инстансах. Распишу важное правило системы оповещения. Приведу пример скрипта, который поднимает одной командой весь стек мониторинга.
Практическое применение ELK. Настраиваем logstash
2019-05-10 в 18:18, admin, рубрики: elk, logstash, системное администрированиеВведение
Разворачивая очередную систему, столкнулись с необходимостью обрабатывать большое количество разнообразных логов. В качестве инструмента выбрали ELK. В данной статье пойдёт речь о нашем опыте настройки этого стека.
Не ставим цели описать все его возможности, но хотим сконцентрироваться именно на решении практических задач. Вызвано это тем, что при наличии достаточно большого количества документации и уже готовых образов, подводных камней достаточно много, по крайней мере у нас они обнаружились.
Читать полностью »
Amazon выпустила Open Distro for Elasticsearch
2019-03-13 в 4:13, admin, рубрики: amazon, AWS, elastic, elasticsearch, elk, open sourceЭта статья — обзор новостей о том, как:
- Amazon выпустила Open Distro for Elasticsearch
- почему они это сделали?
- что это значит для компании Elastic и для Open Source вообще?
Elastic
Жила была компания Elastic.
Было у них несколько Open Source продуктов:
- сам Elasticsearch: сервер, который получает, хранит логи и позволяет по ним делать поиск
- Kibana: frontend движок, который берёт данные из Elasticsearch и из них рисует красивые репорты
- ещё несколько утилит, которые собирают логи. Например LogStash
Elasticsearch бывают называют ELK (лось), как акроним основных элементов:
— Elasticsearch
— LogStash
— Kibana
Хотя компоненты «L» и «K» в общем-то можно заменять на другие: Beats, Grafana,…
Ещё у Elastic есть X-Pack.
Это коммерческий продукт. Часть из возможностей X-Pack — платная (довольно дорогая) и часть — бесплатная (но лицензия всё равно коммерческая).
X-Pack расширяет возможности ELK:
— security
— alerting
— monitoring
— reporting
— graph
— …
Причём если не ставить X-Pack, то отсутствуют некоторые довольно существенные возможности. Например, по умолчанию ELK отсутствует аутентификация, то все данные «торчат» наружу. Можно прикрутить обратный прокси и сделать basic authentication (так себе вариант), а можно купить X-Pack.
Ход 1: Elastic хитро меняет лицензию
ELK Stack для хранения логов Django приложения
2018-08-31 в 9:12, admin, рубрики: django, docker, elasticsearch, elk, kibana, logstash, системное администрированиеКаждый из проектов, который перерастает этап прототипа, нуждается в организации логирования. Грамотное логирования решает уйму проблем и помогает понять состояние проекта. На начальном этапе логирование в файл меня устраивало пока проект не разросся и поиск по логам не начал отнимать время.
Решением было создание централизованного лог хранилища с агрегацией логов и поиском. Выбор пал на ELK стек. ELK — сочетание трех OpenSource проектов: ElasticSearch, Logstash и Kibana. ELK хранит логи, строит графики и есть поддержка полнотекстового поиска с фильтрами. В статье описывается процесс настройки ELK стека для хранения логов Django приложения.Читать полностью »
На что обратить внимание при выборе системы логирования, и почему мы остановились на ELK
2018-08-19 в 14:33, admin, рубрики: 1cloud, elk, fluentd, graylog, iaas, Logalyse, logstash, Блог компании 1cloud.ru, Разработка под e-commerceНа рынке представлено огромное количество систем логирования — как открытых, так и проприетарных. У каждой из них своя функциональность, свои достоинства и недостатки.
Сегодня мы решили поделиться опытом выбора системы логирования и рассказать, почему мы в 1cloud остановились на ELK.
