Рубрика «логи» - 3
Как читать логи Carbonio Community Edition
2022-03-01 в 12:00, admin, рубрики: carbonio, carbonio ce, zextras, Блог компании Zextras, журналирование, логи, логирование, электронная почтаИспользование journalctl для просмотра и анализа логов: подробный гайд
2020-12-19 в 13:08, admin, рубрики: journalctl, ruvds_статьи, анализ логов, Блог компании RUVDS.com, Лайфхаки для гиков, логи, облачные сервисы, просмотр логов, Серверная оптимизация, Серверное администрирование
Journalctl — отличный инструмент для анализа логов, обычно один из первых с которым знакомятся начинающие администраторы linux систем. Встроенные возможности ротации, богатые возможности фильтрации и возможность просматривать логи всех systemd unit-сервисов одним инструментом очень удобны и заметно облегчают работу системным администраторам.
Эта статья рассматривает основные возможности утилиты journalctl и различные варианты ее применения. С помощью journalctl можно просматривать логи системы, чтобы решить возникшие проблемы на рабочей станции или сервере использующие дистрибутив linux с демоном инициализации systemd, де-факто уже ставшим стандартом в современных Linux-системах, например: RHEL, CentOS, Fedora, Debian и многих других.
Существует мнение, что systemd не так уж и хорош — он нагружает систему и это все еще предмет для споров на сегодняшний день, но нельзя отрицать, что он предоставляет прекрасный набор инструментов для управления системой и поиска проблем. Представьте, что вам приходится иметь дело с проблемным сервером, который даже не загружается — в таком случае можно загрузиться с live-дистрибутива, смонтировать системный раздел и просмотреть логи systemd, чтобы понять, в чем проблема.
Читать полностью »
elasticsearch-extractor — утилита для извлечения индексов из снапшотов Elasticsearch
2020-12-15 в 9:56, admin, рубрики: elasticsearch, open source, Блог компании Флант, бэкапы, логи, системное администрирование, ФлантРады представить наш новый Open Source-проект — elasticsearch-extractor. Это простой веб-интерфейс, решающий единственную задачу: извлечение заданного индекса из снапшота Elasticsearch. Почему такой проект вообще появился?
Зачем
Представьте, что у вас есть большое количество однотипных инсталляций Elasticsearch в Kubernetes, где хранятся и анализируются многочисленные логи от приложений и инфраструктуры. Схема довольно обычная:Читать полностью »
Цена tailing’а логов в Kubernetes
2020-08-11 в 6:39, admin, рубрики: devops, fluentd, kubernetes, Блог компании Флант, логи, производительность, системное администрированиеПрим. перев.: эту статью написал старший DevOps-инженер американской компании Olark, главный продукт которой — live chat — используют тысячи организаций. Автор делится размышлениями о проблеме потребляемых ресуров при сборе логов и результатами своего эксперимента с fluentd, что позволил ему добиться лучшей производительности для некоторых сценариев.
Журналирование – одна из тех вещей, о которых вспоминают только тогда, когда они ломаются. И это вовсе не критика. Дело в том, что логи как таковые не приносят денег. Они позволяют получать представление о том, что делают (или делали) программы, помогая поддерживать работу того, что приносит нам деньги. На малых масштабах (или при разработке) необходимую информацию можно получить, просто выводя сообщения в stdout. Но стоит перейти к распределенной системе, и сразу возникает потребность агрегировать эти сообщения и направлять в некое центральное хранилище, где они принесут наибольшую пользу. Это потребность еще более актуальна, если вы имеете дело с контейнерами на платформе вроде Kubernetes, где процессы и локальное хранилище эфемерны.Читать полностью »
Разрабатываем самый удобный в мире* интерфейс для просмотра логов
2020-07-22 в 15:23, admin, рубрики: clickhouse, golang, Анализ и проектирование систем, логи, Серверное администрирование, системное администрирование, теги нужны не только лишь всем
Если Вам приходилось когда-нибудь пользоваться веб-интерфейсами для просмотра логов, то Вы наверняка замечали, насколько, как правило, эти интерфейсы громоздки и (зачастую) не слишком-то удобны и отзывчивы. К некоторым можно привыкнуть, некоторые совсем ужасны, но, как мне кажется, причина всех проблем заключается в том, что мы неправильно подходим к задаче просмотра логов: мы пытаемся создать веб-интерфейс там, где лучше работает CLI (интерфейс командной строки). Мне лично очень комфортно работать с tail, grep, awk и прочими, и поэтому для меня идеальным интерфейсом для работы с логами было бы что-то аналогичное tail и grep, но которое при этом можно было использовать для чтения логов, которые пришли с множества серверов. То есть, конечно же, читать их из ClickHouse!
*по личному мнению хабрапользователя youROCK
Loghouse 0.3 — долгожданное обновление нашей системы работы с логами в Kubernetes
2020-03-23 в 9:04, admin, рубрики: clickhouse, devops, fluentd, kubernetes, loghouse, open source, Блог компании Флант, логи, системное администрирование, ФлантУ компании «Флант» есть ряд Open Source-разработок, преимущественно для Kubernetes, и loghouse — одна из самых популярных. Это наш инструмент для централизованного логирования в K8s, который был представлен более 2 лет назад.
Как мы упоминали в недавней статье про логи, он требовал доработки, и актуальность её со временем только росла. Сегодня мы рады представить новую версию loghouse — v0.3.0. Подробности о ней — под катом.Читать полностью »
Nginx-log-collector утилита от Авито для отправки логов nginx в Clickhouse
2020-01-20 в 7:04, admin, рубрики: clickhouse, devops, Grafana, nginx, Nginx-log-collector, логи, системное администрированиеВ этой статье будет рассматриваться проект nginx-log-collector, который будет читать логи nginx, отправлять их в кластер Clickhouse. Обычно для логов используют ElasticSearch. Для Clickhouse требуется меньше ресурсов (дисковое пространство, ОЗУ, ЦПУ). Clickhouse быстрее записывает данные. Clickhouse сжимает данные, что делает данные на диске еще компактнее. Преимущества Clickhouse видны по 2 слайдам с доклада Как VK вставляет данные в ClickHouse с десятков тысяч серверов.
Для просмотра аналитики по логам создадим дашборд для Grafana.
Кому интересно, добро пожаловать под кат.
Логи в Kubernetes (и не только) сегодня: ожидания и реальность
2019-12-25 в 11:03, admin, рубрики: devops, kubernetes, Блог компании Флант, логи, системное администрирование
Шёл 2019 год, а у нас всё ещё нет стандартного решения для агрегации логов в Kubernetes. В этой статье мы хотели бы, используя примеры из реальной практики, поделиться своими поисками, встречаемыми проблемами и их решениями.
Однако для начала оговорюсь, что разные заказчики под сбором логов понимают очень разное:
- кто-то хочет видеть security- и audit-логи;
- кто-то — централизованное логирование всей инфраструктуры;
- а кому-то достаточно собирать только логи приложения, исключив, например, балансировщики.
О том, как мы реализовывали различные «хотелки» и с какими трудностями столкнулись, — под катом.Читать полностью »
Как мы в ЦИАН укрощали терабайты логов
2019-12-04 в 8:37, admin, рубрики: elasticsearch, Блог компании ЦИАН, логи, Серверная оптимизация, системное администрирование, циан
Всем привет, меня зовут Александр, я работаю в ЦИАН инженером и занимаюсь системным администрированием и автоматизацией инфраструктурных процессов. В комментариях к одной из прошлых статей нас попросили рассказать, откуда мы берем 4 ТБ логов в день и что с ними делаем. Да, логов у нас много, и для их обработки создан отдельный инфраструктурный кластер, который позволяет нам оперативно решать проблемы. В этой статье я расскажу о том, как мы за год адаптировали его под работу с постоянно растущим потоком данных.
Читать полностью »
Проблемы в системе журналирования событий безопасности ОС Windows
2019-12-01 в 21:19, admin, рубрики: eventlog, windows, безопасность, информационная безопасность, логи, Серверное администрирование, системное администрирование
В операционных системах семейства Windows реализована довольно неплохая система журналирования событий безопасности. О ней в различных публикациях и обзорах написано много чего хорошего, но эта статья будет про другое. Здесь мы поговорим о проблемах и недоработках в этой системе. Некоторые из рассматриваемых проблем будут некритичными, лишь осложняющими процедуры анализа событий, другие же будут представлять весьма серьезные угрозы безопасности.
Выявленные проблемы проверялись на Windows 7 Максимальная (русская версия), Windows 7 Professional (английская версия), Windows 10 Pro (русская версия), Windows Server 2019 Datacenter (русская версия). Все операционные системы были полностью обновлены.