Четыре года мы были уверены, что во время инцидента с клиентом должна общаться первая линия поддержки. Потом решили, что это должен делать сам исполнитель тикета. Оба подхода не работали — по разным причинам. Этот текст — о том, к чему мы пришли, и о реальном инциденте, который проверил итоговую схему на прочность.
Рубрика «инцидент»
Кто работает, когда ничего не работает: от алерта до постмортема
2026-07-15 в 8:31, admin, рубрики: monq, zabbix, инцидент, инцидент-менеджмент, облака, техническая поддержкаКогда стойка умирает, а 5xx остаётся нулевым. Разбор скрытой деградации PostgreSQL
2026-02-20 в 18:45, admin, рубрики: haproxy, latency, pgbouncer, postgresql, retry, sre, Tor, деградация, инцидент, отказоустойчивостьИногда инцидент начинается не с 5xx и не с красного графика
Он начинается с одной стойки
И с одного таймаута
09:12 - alert: db-replica-02 connection timeout
HAProxy зелёный
HTTP 5xx = 0.2%
p50 = 38–42ms
2 стойки
В каждом свой ToR
Primary и app в rack-1
Replica-01 в rack-1
Replica-02 в rack-2
Большие языковые модели как инструмент для анализа технической документации и решения ИТ-инцидентов
2025-03-27 в 21:19, admin, рубрики: chatgpt, llm, документация, инцидент, машинное обучение, нейросетьЛюбой инженер, сталкивавшийся с инцидентами в ИТ-системах, знает: решение часто есть в документации. Проблема в том, что найти его — как искать иголку в стоге сена. Документация объёмная, разрозненная, специфичная и написана далеко не всегда для людей. Время идёт, SLA поджимает.
Но что если бы у нас был помощник, который мгновенно читал бы всю документацию, понимал бы контекст сбоя и предлагал конкретные рекомендации? Сегодня это возможно — благодаря большим языковым моделям (LLM), таким как GPT-4, Claude, Gemini и другим.
Detection is easy. Устанавливаем Elastiflow для поиска угроз в сети
2025-01-06 в 14:18, admin, рубрики: elastic, elastiflow, netflow, инцидент, компьютерная безопасность, компьютерная криминалистика, компьютерные сети, обнаружение аномалий, обнаружение атакВведение
Начнем серию статей под названием Detection is easy, посвященных Detection engineering (DE), о чем я пишу в одноименном Telegram-канале. Один из этапов DE - определение источников событий и организация их сбора. В этой статье мы рассмотрим установку ElastiflowЧитать полностью »
Гражданский суд против Big Pharma. Законы Австралии, FDA и псевдоэфедрин
2024-12-30 в 12:22, admin, рубрики: FDA, johnson johnson, австралия, инцидент, правовой статус, псевдоэфедринВсе началось с того, как FDA предложили изъять из продажи в США некоторые безрецептурные препараты от простуды и гриппа. Дескать: «эти препараты неэффективны». В этот же момент австралийская юридическая фирма подала коллективный иск против фармацевтического гиганта Johnson & Johnson, утверждая, что компания на протяжении многих лет сознательно продвигала и продавала неэффективные противоотечные средства. А камнем преткновения стал псевдоэфедрин.
Одна опция TCP-стека спасет приложение от даунтайма
2024-12-25 в 17:28, admin, рубрики: Go, kubernetes, service mesh, tcp, инцидент, микросервисы, распределенные системы, сетьВсем привет, меня зовут Вадим Макеров, я работаю в iSpring бэкенд-разработчиком.
Мы разрабатываем систему управления обучением (LMS - learning management system) iSpring Learn. Внутри система представляет из себя модульный монолит на PHP с почти сотней микросервисов на Go. Мы используем Kubernetes, Service Mesh, gRPC и прочие модные технологии :) Сейчас я работаю во внутренней команде Core, которая занимается внутренними улучшениями нашей системы.
СДЭК в критические дни и приключения с потерянным лекарством
2024-06-02 в 13:36, admin, рубрики: cdek, инцидент, логистика, посылка, сбой, СДЭКПятничный вечер не предвещал беды. Напротив, я был доволен собой. В этот раз делаю все вовремя, с хорошим запасом по срокам. Заказал из Москвы в Екатеринбург очередную порцию одного лекарства. Лекарства довольно дорогого. И критически необходимого для одного из членов моей семьи.
Предыдущей пачки должно было хватить до следующего воскресенья. Доставка из Москвы в Екатеринбург обычно длится несколько дней. Все выглядело как никогда уверенно.
Postmortem, или как разобрать инцидент и ни с кем не разругаться (ну… или почти ни с кем)
2023-07-01 в 7:09, admin, рубрики: инцидент, инцидент-менеджмент, Управление продуктомПеред тем, как начнем разговор об этой материи, должен предупредить, что не стОит гуглить слово Postmortem, особенно картинки. На рубеже XIX-XX веков это была не самая лицеприятная традиция фотографирования недавно покинувшей этот мир родни. Содержание текста ниже к этой практике никакого отношения не имеет.
Что есть Postmortem в епархии информационных технологий?
Перефразируя Толкиена, рассказы о том, как мы добились успешного успеха — однообразны и скучны, а вот повествования об инцидентах часто получаются просто захватывающими. Так вот, одной из разновидностей этих «котоламповых» историй и является Postmortem.
О сетевой аварии в Яндексе
2023-02-13 в 10:14, admin, рубрики: Блог компании Яндекс, высокая производительность, инцидент, маршрутизация, облачные сервисы, Сетевое оборудование, Сетевые технологии, сети, яндекс6 февраля пользователи могли заметить частичную недоступность сервисов Яндекса. Проблема возникла из-за каскадного сбоя в работе сетевого оборудования.
Основной пик пришёлся на период с 17:03 до 17:50, когда общие потери трафика достигали 40%. Кроме того, в период с 17:03 до 17:13 наблюдалась практически полная потеря IPv6 трафика. Инцидент удалось устранить к 21:30.
Как это произошло и какие выводы мы из этого извлекли — ответим на эти вопросы и поделимся нашим опытом.
