Продолжаем цикл статей об организации мониторинга. В первом материале разбирали, как и куда вообще имеет смысл навешивать алерты. Теперь поговорим о мониторинге базового серверного ПО, которое встречается в работе практически любого веб-проекта. Хочу поделиться метриками и алертами, которые мы в ITSumma используем для мониторинга виртуальных машин, docker/LXC-контейнеров, web- и application-серверов, supervisor’а, кастомных сервисов, а также ping-url’ов, SSL-сертификатов и доменных имен.
Рубрика «администрирование»
Мониторинг начинается с метрик. Часть 2: серверное ПО
2022-03-24 в 7:47, admin, рубрики: ITSumma, администрирование, Блог компании ITSumma, метрики, метрики по, метрики производительности, Серверное администрирование, системное администрирование, техподдержкаКлонируем ОС автоматически без дополнительных серверов и пакетов
2022-03-21 в 8:00, admin, рубрики: Clonezilla, FirstDEDIC, firstvds, администрирование, Блог компании FirstVDS, клонирование, резервное копирование, системное администрирование
Как-то раз мне пришлось собирать несколько серверов виртуализации, и на них надо было установить порядка 500 машин, каждая из которых должна была быть клонирована.
Самые разношёрстные машины. Некоторые из них жили на Windows, а некоторые на Linux. Машины достаточно самостоятельные. В них уже установлены клиенты, которые занимались подключением и настройкой ОС, но сами ОС необходимо было доустанавливать.И если с Linux у нас всё ещё более-менее просто — rsync и grub, и всё готово, то Windows не настолько “переносимая” ОС (меня ждало создание sysprep образ и клонирование именно его).
Мне не хотелось устанавливать различные инструменты, такие как Puppet или Ansible. Более того, диски различных машин имели разный размер. К сожалению, надо было именно клонировать, а не просто копировать образы qcow дисков.
В итоге, просидев несколько дней над достаточно разрозненной документацией старого, надёжного и проверенного временем инструмента, я нашёл способ легко и безболезненно, а главное — автоматически, клонировать ОС.
Более того, в сети не пришлось устанавливать и настраивать никакие инструменты. Единственное, что мне потребовалось — это SSH сервер, на который были сложены образы ОС.
Итак, под кат.
Читать полностью »
DevOps, SRE и Platform Engineering
2022-03-05 в 11:40, admin, рубрики: devops, platform engineering, sre, администрирование, безопасность, Блог компании Timeweb Cloud, разработка, управление разработкойВ течение своей карьеры мне приходилось работать в командах и компаниях, где в качестве разработчика я помещал код в репозиторий и просто надеялся, что все будет хорошо, когда какой-нибудь мифический сисадмин в конце концов не запустит его в продакшн. Случалось и то, что мне нужно было подготовить «голые» сервера в понедельник, разработать стратегию развертывания во вторник, написать некоторую бизнес-логику в среду, развернуть ее в четверг и разобраться с неполадками в пятницу. И все это, даже не подозревая о существовании таких модных терминов, как DevOps или SRE-инженер.
Но затем люди вокруг меня начали говорить о DevOps и SRE, сравнивать их друг с другом и составлять списки с потрясающими материалами по теме. Открылись новые возможности трудоустройства, и я быстро подсуетился. Итак, далее мой опыт работы в SRE и Platform Engineering с точки зрения бывшего разработчика ПО. И да, я думаю, что эта информация применима в первую очередь для компаний, продукт которых представляет собой некоторый веб-сервис. Именно в такой компании я проработал десять лет. Люди, занимающиеся встраиваемыми системами или разработкой баз данных, вероятно, живут в совершенно других реалиях. Читать полностью »
Тележка, витая пара, три свитча: как я перевозил сервер с нулевым даунтаймом
2021-06-23 в 7:19, admin, рубрики: ups, администрирование, администрирование веб-серверов, бесперебойное питание, Компьютерное железо, Серверное администрирование, серверы, Сетевое оборудование, системное администрирование
Самое тупое, что я делал за всю свою жизнь.
Один из моих клиентов купил новое офисное помещение в том же бизнес-комплексе и захотел, чтобы его сервер виртуального хостинга (7 виртуальных машин Windows) переместили в новую «серверную». Сначала я подумал: «Отлично! Быстро управлюсь. Просто отключу всё, сниму, пронумерую, упакую накопители, перетащу, а затем соберу, как было. Займёт максимум пару часов».
(Вчера)
Не-а… Я начал излагать свой план владельцу, и он прервал меня на первом же шаге:
Владелец: Постойте, нельзя ничего отключать. Наши клиенты заходят на сервер весь день.
Я: Вы не сообщили им о плановом техобслуживании, как мы договаривались в пятницу?
В: Нет, у нас не может быть никакого даунтайма.
Я: Придётся потерпеть даунтайм.
В: Если он будет, я вам не заплачу.
Я: Ладно, есть другой способ, но потребуется примерно 5 минут даунтайма. Мы можем поднять новый виртуальный хост в новом месте и провести миграцию через временный VPN.
В: Ни за что! Никакого даунтайма!
Я: Ладно, до свидания.
Частые ошибки в настройках Nginx, из-за которых веб-сервер становится уязвимым
2021-03-16 в 7:08, admin, рубрики: nginx, администрирование, безопасность, Блог компании Cloud4Y, информационная безопасность, конфигурация, системное администрирование
Nginx — это веб-сервер, на котором работает треть всех сайтов в мире. Но если забыть или проигнорировать некоторые ошибки в настройках, можно стать отличной мишенью для злоумышленников. Detectify Crowdsource подготовил список наиболее часто встречающихся ошибок, делающих сайт уязвимым для атак.
Ломаем и чиним Kubernetes
2021-02-05 в 15:44, admin, рубрики: devops, kubeadm, kubernetes, администрирование, администрирование linux-систем, кто читает тэги?, микросервисы, сертификаты, системное администрирование
Kubernetes отличная платформа как для оркестрации контейнеров так и для всего остального. За последнее время Kubernetes ушёл далеко вперёд как по части функциональности так и по вопросам безопасности и отказоустойчивости. Архитектура Kubernetes позволяет с лёгкостью переживать сбои различного характера и всегда оставаться на плаву.
Сегодня мы будем ломать кластер, удалять сертификаты, вживую реджойнить ноды и всё это, по возможности, без даунтайма для уже запущенных сервисов.
На землю из облаков: переезд Proxmox на компьютер в офисе в РФ
2020-12-06 в 6:38, admin, рубрики: nix, proxmox, администрирование, виртуализация, системное администрированиеДоброго времени суток!
Предлагаю вниманию краткую историю переезда одного сервера виртуализации на базе Proxmox из Hetzner в РФ на сервер виртуализации, расположенный в стойке в офисе компании.
Кратко о причинах выбора Proxmox, его особенностях. Википедия о системе виртуализации Proxmox
Размещено в качестве пособия самому себе и желающим, чтобы не восстанавливать порядок действий и не терять время на тех подводных камнях, о которых, собственно, в статье ниже.
Если кратко, то главное желание — отсутствие необходимости администрирования запущенного проекта; отсутствие потребности в обновлениях, только по выходу заплаток безопасности; простота веб-интерфейса. Обусловлено тем, что у компании в штате нет настоящего linux-гуру. Так что, практический стандартный Debian решил все вопросы в пользу Proxmox. Еще один плюс — низкая нагрузка ядром виртуализации на процессор(ы) — это действительно так.
Читать полностью »
DDoS на удаленке: RDP-атаки
2020-09-08 в 12:22, admin, рубрики: ddos, ransomware, rdp, remote desktop, windows, администрирование, атаки, Блог компании Variti, боты, зоопарк, информационная безопасность, системное администрирование, удаленная работа
Защита RDP-подключения к VDS-VPS в эпоху «заслуженного» киберпанка
2020-08-31 в 9:12, admin, рубрики: rdp, ruvds_статьи, администрирование, Блог компании RUVDS.com, информационная безопасность, Лайфхаки для гиков, системное администрирование
Пандемия вируса COVID-19 радикально изменила модель работы персонала множества организаций в добровольно-принудительном порядке, «наградив» большую его часть статусом «дистанционный», а кое-кого, даже «удалённый работник».
Если до «мега-эпидемии» сотрудники выполняли свои трудовые обязанности из офиса, используя подконтрольную IT-отделу компании корпоративную инфраструктуру, то во время самоизоляции, «львиная» доля офисной работы стала выполняться с домашних устройств с использованием протокола удалённого рабочего стола (RDP). Популярного, как сама ОС от MS, но, как свидетельствует список уязвимостей, не самого безопасного протокола. Как защитить свой RDP от посягательств извне, мы далее и поговорим.Читать полностью »
Как правильно составить ТЗ на администрирование: наши грабли
2020-08-27 в 8:01, admin, рубрики: администрирование, Блог компании КРОК, системное администрирование, тзВообще, тема неисчерпаемая. Ковыряется как-то Лёшка (наш инженер) в стойке в ЦОДе повышенной ответственности, где стоит несколько банков. В соседнем ряду наблюдает совершенно дикую картину: парень подошёл к блейду. Выдернул жёсткий диск, что-то записал, ВОТКНУЛ ЕГО НАЗАД, выдернул второй, записал, поставил, выдернул третий. Лёша ему: «Пссс, парень, ты чего?» Он: «Ну так инвентаризация же!» И сразу как-то всё стало понятно.
Я работаю в департаменте вычислительных систем КРОК, мы поддерживаем всё то, что можно кинуть в стену. То есть сервера, системы хранения данных и прочее дорогое железо в дата-центрах. Ну и то, что на нём — операционки, базовую инфраструктуру. Простейшая базовая услуга — ЗИП, то есть замена комплектующих вовремя. Более сложные — это заменять сисадминов заказчика.
Самый страшный момент контракта — это составление техзадания. Расскажу про те грабли, которые мы ощупали вместе с клиентами и о том, как их избежать. Ну и приложу пример шаблона ТЗ, который используем мы.
Читать полностью »