Когда-нибудь в твоей стране запретят IaC и ты вспомнишь про мои бэкапы…
© Джейсон Стетхем
Не так давно мы в компании столкнулись с маленькой проблемкой - RabbitMQ Читать полностью »
Рубрика «RabbitMQ»
Бэкапим Кроличьи мозги на случай ядерных войн
2023-04-29 в 19:46, admin, рубрики: altenar, automation, backup, development, devops, k8s, kubernetes, RabbitMQ, terraform, управление разработкой
SSH Picker в ежедневной работе сетевого инженера
2022-01-22 в 12:57, admin, рубрики: automatization, Go, golang, parsers, RabbitMQ, ssh, Сетевые технологии, системное администрированиеВ статье рассмотрим полезный инструмент облегчающий сбор данных с сетевых устройств. Для работы скриптов с командной строкой по SSH на языке Python нужно использовать множество сторонних модулей, а вернее множество зависимостей одного модуля (привет paramiko), а если на машине где будет работать скрипт нет интернета или нет возможности установить Python последних версий, то задача запуска скрипта становится практически невозможной. Для решения подобной проблемы был разработан SSH Picker с возможностью подключения дополнительных модулей через AMQP протокол.
Соседняя очередь всегда движется быстрее
2021-09-23 в 6:08, admin, рубрики: high performance, highload, queues, RabbitMQ, tarantool, tarantool-queue, Анализ и проектирование систем, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, Клиентская оптимизация, очереди, очередь сообщений, СУБДВы не используете очередь? Вы просто не умеете её готовить. Но прежде чем этому научиться, нужно разобраться, что это вообще такое и где это применяется. Потому что большинству достаточно 10 000 запросов в секунду, а это дает любой брокер. Но если вам нужно больше, придется погрузиться в очереди достаточно глубоко.
Расскажу, что такое очереди, зачем они нужны и как работают. На примере нескольких сценариев объясню, как устроены очереди и какие есть решения. Какие у очередей самые распространенные проблемы и как их избежать. В чем отличия брокеров, их плюсы и минусы, и как все это использовать в своих целях.
Неужели нельзя обойтись без кафок и рэббитов, когда принимаешь 10 000 ивентов в секунду
2021-01-21 в 16:01, admin, рубрики: clickhouse, devops, RabbitMQ, Блог компании РебреинОднажды я вел вебинар про то, как принимать 10 000 ивентов в секунду. Показал вот такую картинку, зрители увидели сиреневый слой, и началось: «Ребят, а зачем нам все эти кафки и рэббиты, неужели без них не обойтись»? Мы и ответили: «Зачем-зачем, чтобы пройти собес!»
Очень смешно, но давайте я все-таки объясню.
Гибриды побеждают или холивары дорого
2021-01-10 в 23:05, admin, рубрики: Apache, C#, devops, docker-compose, java, kafkaconnect, RabbitMQ, высокая производительностьМотивом для написания данной статьи послужил тот факт, что на habr.com участилось появление материалов маркетингового характера про Apache Kafka. А также тот факт, что из статей складывается впечатление что пишут их немного далекие от реального использования люди — это конечно же только впечатление, но почему-то в большинстве своем статьи обязательно содержат сравнение Apache Kafka с RabbitMQ, причем не в пользу последнего. Что самое интересное — читая подобные статьи управленцы без технического бэкграунда начинают тратить деньги на внутренние исследования, чтобы ведущие разработчики и технические директора выбрали одно из решений. Так как я очень жадный/домовитый, а также так как я сторонник тезиса "В споре НЕ рождается истина" предлагаю вам ознакомится с другим подходом — почти без сравнения разных брокеров.
Из жизни с Kubernetes: Как мы выносили СУБД (и не только) из review-окружений в статическое
2020-05-14 в 8:55, admin, рубрики: continuous delivery, devops, helm, helm hooks, kubernetes, mongodb, postgresql, RabbitMQ, Блог компании Флант, системное администрирование
Примечание: эта статья не претендует на статус лучшей практики. В ней описан опыт конкретной реализации инфраструктурной задачи в условиях использования Kubernetes и Helm, который может быть полезен при решении родственных проблем.
Использование review-окружений в CI/CD может быть весьма полезным, причём как для разработчиков, так и для системных инженеров. Давайте для начала синхронизируем общие представления о них:
- Review-окружения могут создаваться из отдельных веток в Git-репозитории, определяемых разработчиками (так называемые feature-ветки).
- Они могут иметь отдельные экземпляры СУБД, обработчиков очередей, кэширующих сервисов и т.п. — в общем, всё для полноценного воспроизведения production-окружения.
- Они позволяют вести параллельную разработку, значительно ускоряя выпуск новых функций в приложении. При этом каждый день могут потребоваться десятки подобных окружений, из-за чего скорость их создания критична.
На пересечении второго и третьего пунктов зачастую и возникают сложности: поскольку инфраструктура бывает очень разной, её компоненты могут деплоиться долгое время. В это затрачиваемое время, например, входит восстановление базы данных из уже подготовленного бэкапа*. Статья — о том, каким увлекательным путем мы однажды отправились для решения такой проблемы.Читать полностью »
RabbitMQ. Часть 1. Introduction. Erlang, AMQP
2020-02-17 в 8:46, admin, рубрики: .net, C#, devops, Erlang/OTP, IIoT, Microservices, RabbitMQ, Анализ и проектирование систем, архитектура по, Системы обмена сообщениямиДобрый день! Хочу поделиться учебником-справочником знаний, которые мне удалось собрать по RabbitMQ и сжать в короткие рекомендации и выводы.
Как мы фрод из избы выносили
2020-02-04 в 7:42, admin, рубрики: elasticsearch, RabbitMQ, Анализ и проектирование систем, Блог компании Ситимобил, проектирование, Системы обмена сообщениямиМеня зовут Никита, я backend-разработчик из команды антифрода в Ситимобил. Сегодня я поделюсь с вами историей о том, как мы выносили наш сервис из монолита в отдельный сервис, как вообще пришли к этому решению и с какими проблемами столкнулись.
Стегоанализ и машинное обучение
2020-02-01 в 4:38, admin, рубрики: catboost, lsb, python, RabbitMQ, информационная безопасность, криптография, машинное обучение, СтеганографияПривет.
Хочу представить вам небольшой проект, который я написал вместо во время сессии.
Суть такова: это классификатор, определяющий наличие стеганографии в изображении. Сразу стоит отметить, что классификатор получился довольно простым: он работает с методом LSB, где заменяется один последний бит 8-битного RGB изображения, и проверялся только на полностью заполненных стегоконтейнерах.
Поиграть с тем, что получилось, можно тут. Примеры картинок (кстати, принимаются только png) есть здесь.
RabbitMQ против Kafka: отказоустойчивость и высокая доступность
2019-11-08 в 7:50, admin, рубрики: big data, devops, isr, ITSumma, RabbitMQ, Rebalanser, zookeeper, алгоритм консенсуса, балансировщик нагрузки, Блог компании ITSumma, брокер сообщений, избыточность, обмен сообщениями, отказоустойчивость, очередь сообщений, перебалансировка, распределенные системы, синхронизированные реплики, Системы обмена сообщениями
В прошлой статье мы рассмотрели кластеризацию RabbitMQ для обеспечения отказоустойчивости и высокой доступности. Теперь глубоко покопаемся в Apache Kafka.
Здесь единицей репликации является раздел (partition). У каждого топика один или несколько разделов. В каждом разделе есть лидер с фолловерами или без них. При создании топика указывается количество разделов и коэффициент репликации. Обычное значение 3, это означает три реплики: один лидер и два фолловера.
Читать полностью »