Представьте себе высоконагруженный сервис, который решает, с какого из множества складов нужно отправить товар покупателю. В пике через него проходит около 600 000 RPSЧитать полностью »
Рубрика «highload»
От полной выгрузки к S3 и PostgreSQL: как мы доставляем гигабайты данных в память подов
2026-07-06 в 12:00, admin, рубрики: backend, Go, golang, highload, ozon tech, высоконагруженные системы, Программирование, проектирование системИ снова самый быстрый парсер JSON. Очередной
2026-06-29 в 15:05, admin, рубрики: AVX2, Go, golang, highload, json, simd, unsafe, zero-allocation, zero-copy, парсингЗа свои 17+ лет в активной разработке я встречал много проблем, но одна преследовала меня постоянно: JSON. Нет, с самим форматом все ок, но вот с его чтением — не все норм.
Когда я только начинал работать с PHP, я списывал это на скриптовость языка. Отчасти из‑за этого я даже поменял стек. Но когда приходили по‑настоящему большие файлы, это всегда было больно. Иногда — очень. Был проект, где мы ждали не обработку информации бизнес‑логикой, а банального парсинга. Файлы доходили до десятков гигабайт и не всегда влезали в оперативку. Тогда я и заработал себе персональный todo — разобраться с этим раз и навсегда.
Проектирование веб-краулера. Как решать System Design?
2026-06-20 в 13:49, admin, рубрики: highload, middle, senior, system design, задачи, задачи для собеседований, проектирование, Сис диз, собеседованиеПривет! Продолжаю разбирать классические задачи с System Design интервью на стримах (за анонсами можете следить тут https://t.me/siliconchannel), а это текстовая версия стрима. В прошлый раз была бесконечная лента, сегодня очередная классика жанра - веб-краулер. Условие звучит примерно так:
Спроектировать веб-краулер, который обходит интернет, вытаскивает со страниц текст и складывает его в хранилище. На этом тексте потом будут обучать LLM (условный ChatGPT). На весь обход даётся 5 дней - данные нужны быстро. Масштаб: ~10 млрд страниц, средняя страница весит ~2 МБ. В ресурсах мы не ограничены (в разумных пределах).Читать полностью »
Fast Atomic Flow: PHP 8.4, Swoole, NATS, Go и Закон Табуна
2026-04-27 в 6:45, admin, рубрики: async, Go, highload, kbl, nats, open source, php, semaphores, swoole, WebSocketПотоковая обработка данных на С
2026-04-14 в 17:16, admin, рубрики: C, highload, linux, system designПривет!
Кратко о том что такое потоковая обработка данных и в чем её отличие от пакетной.
Пакет данных, это часть информации поступающая в систему которая содержит законченный или не полный фрагмент данных. Большинство механизмов цифровой передачи информации в современных системах построены на пакетной передаче. Отличие потоковых и пакетных систем обработки в том, когда эти данные обрабатываются:
-
Потоковая обработка данных подразумевает обработку данных и реакцию на них непосредственно в момент получения с минимальными задержками.
Монолит с отчётами на 30 секунд: как я переписал архитектуру и что из этого вышло
2026-04-05 в 13:45, admin, рубрики: backend, DDD, django, explain analyze, highload, N+1, postgresql, python, архитектура, оптимизацияПришёл в проект, там легаси погоняет легаси. Спагетти такие что уже в рот лезут. Отчёты по филиалам открывались 30 секунд. Команда реально боялась нажать кнопку в рабочее время, а вдруг база ляжет.
Это была система управления розничной сетью: несколько филиалов, сотни тысяч записей о заказах, ежедневные отчёты по выручке и остаткам. На бумаге ничего страшного. На практике монолит на Django где бизнес-логика размазана по контроллерам так, что поменяй что-то одно и сломается три другого.
Первое что я сделал: открыл EXPLAIN ANALYZE.
Что показал EXPLAIN ANALYZE
Запрос для отчёта по филиалу выглядел примерно так:
Читать полностью »
Как мигрировать кусочек Яндекс Такси с PostgreSQL на YDB и перестать считать подключения к шардам
2026-02-27 в 8:31, admin, рубрики: highload, postgresql, ydb, репликация, шардирование
Привет! Меня зовут Игорь Березняк, и мы с командой делаем Техплатформу Городских сервисов Яндекса. Я уже Читать полностью »
Проектирование сервиса персональной ленты. Как решать System Design?
2026-01-12 в 6:00, admin, рубрики: highload, middle, senior, system design, Бесконечная лента, задачи, задачи для собеседований, проектирование, Сис диз, собеседованиеПривет! Эта статья - текстовая версия моего стрима с разбором задачи на бесконечную ленту по System Design из https://t.me/siliconchannel/141 этого поста.
Рассмотрим классическую задачу из System Design интервью - персональная лента подписок. По сути, мы проектируем упрощённый клон Instagram. Сама задача звучит следующим образом:
Делаем сервис: подписки на авторов, публикации постов, выдача персональной ленты с пагинацией. Нагрузка: чтение доминирует - 30 тыс. RPS; запись постов 1000 RPS; есть “мегапопулярные” авторы.
Этапы
Как я в одиночку спроектировал API-шлюз на FastAPI, который держит 200к+ запросов в сутки
2025-10-18 в 20:06, admin, рубрики: asyncio, devops, fastapi, highload, python, RabbitMQ, system design, микросервисыАрхитектурные решения, грабли и RabbitMQ
Привет!
Я Python-инженер. Последние несколько лет я в одиночку строил довольно сложную бэкенд‑систему, и за это время набил немало шишек и нашел, как мне кажется, несколько интересных решений. В этой статье я хочу поделиться не «историей успеха», а конкретными архитектурными проблемами и их решениями при построении высокопроизводительного сервиса на асинхронном Python.
Статья будет полезна тем, кто работает с FastAPI, микросервисами и думает о надежности и масштабируемости своих систем.