Рубрика «celery»

в 13:16, , рубрики: celery, очереди

Моей первой большой самостоятельной работой программиста была инвентаризация celery-задач. Нам с товарищем по бэкенду достался легаси-проект товарно-учетного приложения. С горем пополам перевезли его из Hetzner в родное «облако» и поняли, что срочно необходимо всё документировать, очищать и структурировать. Пока коллега упаковывал приложение в контейнеры, я занялся Celery, так как на этой библиотеке было завязано много бизнес-логики.

Пока группировал и отлаживал задачи, определял им очереди, нашел в документации загадочное autoscaleЧитать полностью »

в 18:03, , рубрики: blue-green deployment, celery, CICD, docker-compose, faststream, RabbitMQ, zero downtime

Недавно я внедрил blue-green деплой в проде. Реализация довольно простая и кастомная, но справляется со своей задачей на ура! Также сообщу, что используется обычный докер композ на виртуалке - возможно, кому-то такой подход будет полезен.

Для фоновых процессов (воркеров)

В приложение добавляется специальный инфрастуктурный singleton класс с флагом is_accepting, и обертка на consumers. В каждом консьюмере перед обработкой проверяем этот флаг: если True - обрабатываем задачу, если False - переносим задачу на повторную обработку (например, в rabbitmq делаем сразу nack(requeue=true))

Читать полностью »

в 20:15, , рубрики: aiogram, celery, python

Недавно мне пришлось обрабатывать множество долгих запросов к внешней API, и я внедрил Celery. В этом посте — практический разбор:

  • что такое Celery,

  • когда он реально нужен,

  • и какие подводные камни есть на проде.

Что такое Celery (очень кратко)

Celery — это таск-менеджер. Он позволяет выполнять задачи в фоне, вне основного потока вашего приложения.

Если просто:

  • У вас есть задача → она ставится в очередь.

  • Специальный процесс (воркер) берёт её из очереди и выполняет.

  • Можно масштабировать воркеры, следить за статусом и перезапускать упавшие задачи.

Читать полностью »

в 14:47, , рубрики: celery, docker, fastapi, JWT authentication, nginx, postgresql, redis, restapi, Vue 3, websockets

в 11:03, , рубрики: celery, dramatiq, mvp, python, SSO, автотесты, Блог компании AGIMA, логирование, Разработка веб-сайтов, разработка мобильных приложений, Тестирование веб-сервисов

Всем привет! Меня зовут Алексей Половинкин, и я отвечаю за Python в AGIMA. За последние 2 года мне повезло запускать сразу 2 крупных MVP-проекта: классифайд автомобилей для Казахстана и проект в сфере телемедицины. За это время у меня и моей команды накопилось много опыта по запуску подобных проектов, и им хотелось бы поделиться. В этой статье рассказываю, как не допускать ошибок на этапе MVP и какие практики полезно внедрять сразу.

Читать полностью »

в 15:40, , рубрики: celery, crontab, delayedjob, event-driven, Go, job-scheduler, kubernetes, Microservices, open source, symfony, Task Scheduler, микросервисы, отложенные сообщения

Часто в проектах возникает необходимость выполнения отложенных задач, таких как отправка email, push и других специфических задач, свойственных доменной области вашего приложения. Сложности начинаются, когда обычного crontab уже недостаточно, когда пакетная обработка не подходит и когда у каждой единицы задачи свое время выполнения или оно назначается динамически.

Для решения такой задачи было создано очередное решение под названием Trigger HookЧитать полностью »

в 17:20, , рубрики: Amazon Web Services, Ansible, celery, DataDog, django, elasticsearch, Listen Notes, nginx, postgresql, python3, RabbitMQ, React, redis, slack, uwsgi, звук, поисковые технологии, Разработка веб-сайтов, Серверное администрирование, скука

Скучный технологический стек интернет-компании из одного человека - 1
Поисковая выдача на ListenNotes.com

Listen Notes — это поисковая система и база данных подкастов. Технология на самом деле очень скучная. Никакого ИИ, глубокого обучения или блокчейна. «Если вы должны объявлять о внедрении ИИ, то вы не используете Настоящий ИИ» :)

После прочтения этой статьи вы сможете повторить мой проект или легко сделать нечто подобное. Не придётся нанимать много разработчиков. Помните, когда Instagram привлёк $57,5 млн и отошёл к Facebook за $1 млрд, у них было всего 13 сотрудников — и это не только разработчики. Покупка Instagram произошла в начале 2012-го. Сейчас 2019 год, и сегодня как никогда просто создать что-то значимое с крошечной инженерной командой — даже из одного человека.
Читать полностью »

в 9:46, , рубрики: celery, Moscow Python Conf++, open source, python, Блог компании Конференции Олега Бунина (Онтико), Программирование, Разработка веб-сайтов

Вам сюда, если хотите знать, как приручить широкоизвестный в кругах Python-разработчиков фреймворк под названием Сelery. И даже, если в вашем проекте Celery уверенно выполняет базовые команды, то финтех опыт может открыть вам неизведанные стороны. Потому что финтех — это всегда Big Data, а с ней и необходимость фоновых задач, пакетной обработки, асинхронного API и т.д.
50 оттенков Celery - 1

Прелесть рассказа Олега Чуркина про Celery на Moscow Python Conf ++ помимо подробных инструкций, как настроить Celery под нагрузку и как его мониторить, в том, что можно позаимствовать полезные наработки.

О спикере и проекте: Олег Чуркин (Bahusss) 8 лет разрабатывает Python-проекты разной сложности, работал в многих известных компаниях: Яндексе, Рамблере, РБК, Лаборатории Касперского. Сейчас техлид в финтех-старапе StatusMoney.
Читать полностью »

в 11:16, , рубрики: angular, celery, django, open source, Open Source Software, postgresql, python, python3

Представьте себе инструмент, с помощью которого вы можете трансформировать любые данные в… любые данные.

Самый доступный пример — Изображения. Что если я хочу получить картинку определенного размера и поставить где-нибудь водяную марку (тоже определенного размера).

И вот один из примеров как это может выглядеть:

image

P.S.: Это обзорная статья, если будет интересно, дальше опишу подходы детальнее.
Читать полностью »

в 8:10, , рубрики: celery, Moscow Python Conf++, python, Анализ и проектирование систем, Блог компании Конференции Олега Бунина (Онтико), высокая производительность

В преддверии нашей Moscow Python Conf++ мы кратко поговорили с Олегом Чуркиным, техлидом финтех-стартапа, о его обширном опыте работы с Celery: полмиллионе фоновых задачах, багах и тестировании.

Celery в нагруженных проектах: немного практики - 1
Читать полностью »

12
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js