Всем привет! А вот и третья часть руководства «Kubernetes на «голом железе»! Я уделю внимание мониторингу кластера и сбору логов, также мы запустим тестовое приложение для использования предварительно настроенных компонентов кластера. Затем проведем несколько стресс-тестов и проверим стабильность этой кластерной схемы.
Рубрика «logs» - 2
Настройка НА-кластера Kubernetes на «голом железе», мониторинг, логи и примеры использования. Часть 3-3
2019-03-14 в 6:25, admin, рубрики: dashboard, devops, fluentd, heapster, k8s, logs, open source, Блог компании Southbridge, Серверное администрирование, системное администрированиеПонедельник начинается в субботу, или что можно узнать о жизни в другой стране из логов sci-hub
2018-06-13 в 6:32, admin, рубрики: data mining, data visualization, it-эмиграция, lifestyle, logs, open data, sci-hub, веб-аналитика, визуализация данных, открытые данныеХотите знать, как религия влияет на рабочий день, у кого самый длинный обеденный перерыв, и правда ли что Москва никогда не спит? Но это же Хабр, а не жёлтая газета, так что историю вам поведает самый объективный рассказчик из всех — данные пользовательской активности.
Вам когда-нибудь доводилось найти пиратский настоящий клад? Такой что с первого взгляда становится понятно, что вы теперь богач. Если находили, то наверняка первый месяц провели, обложившись книжками, увеличительными стеклами и всем, что может помочь вам узнать про находку всё. А следующие несколько месяцев вы хвастались находкой всем друзьям.
Что-то в этом роде произошло со мной, когда я наткнулся на логи sci-hub. Вроде в интернете полно открытых данных, но чтобы заполучить журнал учёта на 195 миллионов записей — это не каждый день так везёт. Несколько недель я изучал доставшееся мне богатство, а теперь пришёл на хабр, чтобы рассказать вам, что я нарыл.
Читать полностью »
Дашборды Check Point — вот что я люблю
2018-05-07 в 11:15, admin, рубрики: analytics, check point, logs, monitoring, SIEM, smart event, splunk, tssolution, Блог компании TS Solution, визуализация данных, информационная безопасность, Сетевые технологии, системное администрирование
— Зачем вы мне втираете про удобный интерфейс? Это вообще не важно. Меня интересует только функционал! (из беседы с клиентом)
При выборе NGFW (или UTM) чаще всего смотрят исключительно на функционал устройства. С этим подходом трудно поспорить (да и не нужно). Устройство безопасности в первую очередь должно защищать! При этом очень важно количество и качество механизмов защиты! Именно для этого публикуются различные отчеты Gartner и NSS Labs. Однако, еще одним важным аспектом любого NGFW является встроенная отчетность и качество ее визуализации. Ниже я попытаюсь рассказать почему это важно и почему Check Point в этом реально крут.Читать полностью »
Rsyslog 8. Централизованный сбор логов
2018-04-02 в 16:22, admin, рубрики: linux, logs, rsyslog, Блог компании Отус, Настройка Linux, системное администрированиеВсем добра.
Заканчиваем в этом месяце первый поток «Администратора Linux» и запускаем потихоньку второй, который теперь будет заметно переработан и усилен новыми преподавателями. Один из них — Алексей Цыкунов, делится сегодня небольшой полезной заметкой.
Поехали.
Задача
Есть несколько серверов, на которых крутятся программы, которые сохраняют логи в свои каталоги.
Необходимо централизовано сохранять все эти логи в подкаталогах по имени серверов, сохраняя названия файлов.
Возможности перенастроить программы для записи логов сразу в syslog нет.
Окружение:
- server — centos7
- client — centos6
И на клиенте и на сервере необходимо обновить rsyslog до последней версии.
cd /etc/yum.repos.d/
wget http://rpms.adiscon.com/v8-stable/rsyslog.repo
yum update rsyslog
Несколько советов по организации Python-приложения на сервере
2018-03-19 в 23:00, admin, рубрики: django, logs, python, логи, Программирование
В этой статье я хочу поделиться несколькими удобными способами организации вашего проекта на рабочем (даже продакшен) сервере.
Я работаю, в основном, с Python/Django стеком, поэтому все примеры будут, в первую очередь, применительно к этому набору. Также ключевые технологии: Ubuntu (17.10), Python3 (3.6).
Содержание:
- Логи (logrotate)
- Демоны (systemd)
- локальные настройки
Стриминг и анализ логов Java приложений в MS Azure с использованием Log4j и Stream Analytics
2017-11-06 в 9:51, admin, рубрики: azure, event hubs, java, logs, Microsoft Azure, SaaS / S+S, stream analytics, ПрограммированиеВ этой статье я покажу несколько работающих решений задачи передачи и анализа логов из Java приложений в MS Azure. Мы рассмотрим решения как для windows, так и для linux виртуальных машин, находящихся как в облаке, так и on-premise. В качестве подсистемы логирования для Java будем использовать log4j2.
Для анализа логов будем использовать Azure Stream Analytics.
Сбор данных о загрузочных событиях Windows Server 2016
2017-08-29 в 9:00, admin, рубрики: logs, powershell, windows, Блог компании Сервер Молл, диагностика сервера, Серверная оптимизация, системное администрирование
В Windows Server 2016 есть не особенно известная функция «Сбор данных о настройках и загрузочных событиях». Она позволяет удаленно собирать информацию о событиях, произошедших в процессе загрузки системы. Такая возможность особенно полезна при поиске «плавающих» проблем во время загрузки ОС.
В статье я расскажу, как можно удобно собирать эти недостающие сведения.Читать полностью »
Лог файлы Linux по порядку
2017-07-07 в 10:40, admin, рубрики: linux, logs, Настройка Linux, системное администрированиеНевозможно представить себе пользователя и администратора сервера, или даже рабочей станции на основе Linux, который никогда не читал лог файлы. Операционная система и работающие приложения постоянно создают различные типы сообщений, которые регистрируются в различных файлах журналов. Умение определить нужный файл журнала и что искать в нем поможет существенно сэкономить время и быстрее устранить ошибку.
Журналирование является основным источником информации о работе системы и ее ошибках. В этом кратком руководстве рассмотрим основные аспекты журналирования операционной системы, структуру каталогов, программы для чтения и обзора логов.
Ещё раз о хранении логов в Zabbix
2017-05-30 в 12:51, admin, рубрики: heka, logs, monitoring, sql, zabbix, Блог компании BUSINESS INFINITY GROUP, Серверное администрирование, системное администрирование
Тема сбора и хранения логов в Zabbix поднималась уже не раз. И не два. Если не учитывать, что это не вполне корректный подход, серьёзно нагружающий базу, у таких способов есть еще один существенный недостаток – они хранят логи целиком. И если в случае с логами роутеров или Linux с этим можно как-то смириться, то event-log Windows начинает доставлять много страданий, как серверу Zabbix, так и системному администратору, который решится его собирать и хранить. Ниже — о решении этой проблемы. Читать полностью »
slit — новое слово в мире PAGERов, либо как тратить меньше времени на просмотр логов
2017-04-21 в 16:39, admin, рубрики: console, Go, less, logs, open source, slit, terminal, отладкаТак уж вышло, что мне регулярно приходится просматривать много логов.
Одно радует, не так много как у людей работающих вместе со мной у которых порой это основная работа.
Логи эти не лежат в в какой либо централизованной системе, а хранятся в s3 и смотрим мы их скачивая с перенаправлением вывода в less
less установлен у всех, все привыкли с ним работать, знают о базовых вещах, как поиск вперед-назад, фильтрация по &, переход в конец(G) файла, переход в начало(g) и так далее.
А так же, все уже смирились с тем, что в любой момент, при добавлении фильтра less может подвиснуть на неопределенный срок, выводить по строчке в 5 секунд и так далее. В конечном счете, особенно при считывании логов с stdin — приходится быть аккуратным. Фильтр может сработать, а может и не сработать
Собственно, в тот момент, что и мне выпала участь в течении нескольких дней пройтись через этак пару сотен лог-файлов — стало очевидно — мир нужно менять к лучшему…
Для начала небольшое демо (2.2mb):
Заголовок спойлера
Тем кто уже готов: github.com/tigrawap/slit
Кто нет, прошу под кат…
Читать полностью »