
Технологический стек:
-
Magento 2.4.4
-
MariaDB
-
Redis
-
Varnish
-
OpenSearch
Размер проекта:
-
~1,000,000 товаров
-
~3,000 категорий
-
~10,000,000 CMS страниц
Проблема:

Технологический стек:
Magento 2.4.4
MariaDB
Redis
Varnish
OpenSearch
Размер проекта:
~1,000,000 товаров
~3,000 категорий
~10,000,000 CMS страниц
Проблема:
Делаю pet-проект — приложение, чтобы свайпать тендеры в телефоне и видеть AI-скоринг заказчика. Идея простая: свайпнул, посмотрел «ваш шанс — высокий/средний/низкий», дальше принимаешь решение, лезть в этот тендер или нет.
Чтобы скоринг был не из воздуха, нужно собрать всю историю заказчика — какие контракты у него были, как он платил, какой типичный дисконт от стартовой цены. Источник один — ЕИС zakupki.gov.ru. И вот тут я наступил на грабли которыми и хочу поделиться.
Если кто тоже думает парсить госзакупки — пост сэкономит вам пару недель.

Случалось мне работать с CV: запускаешь сорокаминутное видео, YOLO честно находит людей, машины, собак. На двадцатой минуте падает сеть или, что хуже, камера наблюдения выходит из строя. Перезапускаешь. Модель снова смотрит те же кадры, Читать полностью »
Всем привет! Хочу рассказать, как мы небольшой командой проектировали кэш поиска отелей для сервиса по бронированию отелей и почему за полтора года прошли путь от Infinispan к managed Redis а затем к Postgres. По стеку java-21, spring-boot-3, 1 вендор отелей, расчетная нагрузка 1000 RPS и 10M запросов в сутки.
Для тех кому лень читать и хочется сразу потрогать вот Github.
Перед командой встала типичная для высоконагруженных сервисов постановка по обработке сообщений:
Порядок обработки в рамках одной логической партиции — события по одному пользователю/сущности должны идти строго последовательно.
Очень много ключей партиций — сотни тысяч и выше; заводить под каждую ключ отдельную «очередь» в классическом смысле неразумно.
Ограниченный пул воркеров, который шарится между партициями, при этом Читать полностью »
Привет!
Если вы когда-нибудь сталкивались с задачей запуска сотен изолированных фоновых процессов на одном сервере (будь то парсеры для клиентов, торговые боты или обработчики данных в SaaS), то вы знаете, как быстро всё усложняется.