В какой-то момент на старте в нашем data-сервисе (известная в узких кругах аналитическая платформа для селлеров WB/Ozon «Таблички») стало возникать много фоновых работ: ETL‑сенсоры, сложные API‑запросы к маркетплейсам, пересчёты витрин, обслуживание «сервисных» задач. К тому же добавилась потребность сгладить пики нагрузки на БД, растянув поступающую нагрузку во времени. Хотелось:
-
без отдельного брокера (Rabbit/Kafka) на старте,
-
с горизонтальным масштабированием воркеров,
-
с понятным «забрал задачу → обработал → отметил результат»,
-
чтобы падение воркера не превращало задачи в «вечные зомби»,
- Читать полностью »