Рубрика «apache kafka»
Apache Kafka — скоро без ZooKeeper
2021-04-16 в 5:05, admin, рубрики: Apache, apache kafka, apache zookeeper, zookeeper, Блог компании Southbridge, Программирование, системное администрирование
В основе Apache Kafka находится лог — простая структура данных, которая использует последовательные операции, работающие в симбиозе с оборудованием. Эффективное использование дискового буфера и кэша процессора, prefetch, передача данных zero-copy и много других радостей — все это благодаря построенной на логе структуре, которая славится своей эффективностью и пропускной способностью. Обычно эти преимущества, а еще базовая реализация в виде лога коммитов, — первое, что люди узнают о Kafka.
Код самого лога составляет относительно малую часть всей системы. Гораздо больше занимает код, который отвечает за организацию партиций (т. е. логов) на множестве брокеров в кластере — назначает лидеров, обрабатывает сбои и т. д. Этот код и делает Kafka надежной распределенной системой.
Раньше важной частью работы распределенного кода был Apache ZooKeeper. Он хранил самые важные метаданные системы: где находятся партиции, кто из реплик лидер и т. д. Читать полностью »
Apache Kafka в вопросах и ответах
2021-01-06 в 11:05, admin, рубрики: apache kafka, big data, rabbit mq, Блог компании Southbridge, митап, Программирование, системное администрирование, СлёрмЧто такое Kafka? Где стоит, а где не стоит применять этот инструмент? Чем Kafka отличается от RabbitMQ и других брокеров сообщений? Как её правильно эксплуатировать? Всё это обсудили на митапе «Apache Kafka в вопросах и ответах», который Слёрм провёл в ноябре 2020. В разговоре участвовали спикеры из Авито, Stripe, ITSumma и Confluent. Запись митапа доступна на YouTube, а текстовую версию разговора читайте ниже.
Любим читать ушами? Мысли о будущем ITSumma Press
2019-12-05 в 9:32, admin, рубрики: apache kafka, diy или сделай сам, ITSumma, аудиокниги, Блог компании ITSumma, брокер сообщений, звук, информационные технологии, книги, книгоиздание, конференции, лингвистика, литература, переводы, Профессиональная литература, распределенные сообщения, специальная литература, филология
Привет!
Давненько мы не выбирались из своего издательского подвала и не общались с вами про наболевшее, да? Пора исправляться! И для начала хотим поделиться последними новостями о том, что происходило в жизни нашей книгопечатной.
Самое значительное из недавнего — это конференция Highload++, проходившая в Сколково. Там мы, в партнёрстве с «Онтико» @oleg-bunin и Олегом Буниным сделали подарок всем участникам: помимо привычных блокнотов, брошюр-каталогов, ручек и визиток, посетители получали нашу первую книгу — «Проектирование событийно-ориентированных систем».
Читать полностью »
А мишка-то, похоже, высоконагруженный
2019-07-18 в 6:55, admin, рубрики: apache kafka, AWS, cft, computer vision, geodist, nodejs, Блог компании Конференции Олега Бунина (Онтико), видеозвонки, высокая производительность, конференции, Программирование, Разработка веб-сайтовВ конце июня Новосибирск второй раз принимал HighLoad++. Если в прошлом году эффект новинки сыграл свою немалую роль в том, что все всем были довольны, то в этот раз нам нужно было подготовиться гораздо тщательнее, чтобы сохранить и превзойти впечатление. В первую очередь с утроенной силой мы взялись за главное — программу. Теперь, когда выступления состоялись и даже уже выборочно пересмотрены по второму кругу, собраны и обработаны отзывы участников конференции, можно уверенно заявить, что удалась она на славу.
Основу HighLoad++ Siberia составили 38 отличных докладов, полных опыта и глубочайшей экспертизы. Международные гиганты и региональные компании — все делились опытом работы с задачами, для решения которых стандартных средств просто не существует. А особенной конференцию сделали люди. Мы честно пытались понять, в чем дело, и как сделать настолько же душевные мероприятия в других местах, но нет — за непередаваемой дружественной атмосферой придется снова ехать в Сибирь, и мы только за. К тому же мы уже думаем над новинками.
Медведя привезли с собой, ни один представитель местной фауны не пострадал.
Читать полностью »
Как IT-компания книжное издательство открывала — и выпустила книгу про Kafka
2019-04-25 в 6:25, admin, рубрики: Apache, apache kafka, diy или сделай сам, ITSumma, библиотека, Блог компании ITSumma, издательское дело, книги, книгоиздание, литература, Профессиональная литература
В последнее время некоторым начинает казаться, будто такой «консервативный» источник информации как книга начинает сдавать позиции и теряет актуальность. А зря: несмотря на то, что мы уже живём в эпоху цифровую и вообще работаем в IT, книжки мы любим и уважаем. Особенно такие, которые не просто учебник по конкретной технологии, а реальный источник общего знания. Особенно такие, которые не потеряют актуальность полгода спустя. Особенно такие, которые написаны хорошим языком, грамотно переведены и красиво оформлены.
И знаете, что оказалось? Таких книг нет.
Либо — либо — либо. А вот этой прекрасной книги, в которой сочетается всё, что думающий и практикующий специалист ценит, — её нет.
Поэтому мы решили, что она должна быть. И не одна — таких книг должно быть много. Решили — и открыли собственное издательство ITSumma Press: возможно, первое издательство в России, созданное IT-компанией.
Было потрачено много сил, времени и порядком денег. Но вот за день до конференции Uptime day 4 мы получили пилотный тираж и подержали первую изданную нами книгу в руках (весь тираж подарили участникам конференции в итоге). Невероятное ощущение! Никогда заранее не знаешь, куда в итоге может тебя привести твоя тяга к прекрасному. Первая книга, по понятным причинам, была своеобразным пробным шаром. Нам нужно было самим прощупать весь процесс книгоиздательства, понять, что мы можем привнести сразу, а над чем нужно будет подумать ещё. И по итогу мы остались очень довольны результатом. Это важное дело, которое мы хотим продолжать и развивать. А в этом тексте хочу просто рассказать, с чего всё начиналось, как мы спорили про название, как заключили договор с, ни много, ни мало, самими O’Reilly и сколько редактур надо провести, прежде чем отдать текст в прод в типографию.
Картографирование шума с помощью KSQL, Raspberry Pi и радиоприемника
2019-03-07 в 4:10, admin, рубрики: Apache, apache kafka, ITSumma, KSQL, Raspberry Pi, авиация, Алгоритмы, анализ, Блог компании ITSumma, Геоинформационные сервисы, исследования, котики, перевод, Разработка на Raspberry Pi, самолеты
На первый взгляд, в этой истории есть всё, чтобы заслужить статус романтичного поста накануне 8 марта: самолёты, любовь, чуточку шпионажа и, наконец, котик (точнее, кошка). Трудно представить, что всё это имеет самое непосредственное отношение к Kafka, KSQL и эксперименту «как в домашних условиях с помощью информационных технологий найти самый шумный самолёт». Трудно, но придётся: именно такой эксперимент провёл Саймон Обьюри, а мы перевели статью его авторства с описанием всех подробностей процесса.
Читать полностью »
Исследуем пределы пропускной способности Kafka в инфраструктуре Dropbox
2019-02-14 в 8:01, admin, рубрики: Apache, apache kafka, DropBox, ITSumma, open source, Блог компании ITSumma, брокер сообщений, высокая производительность, инфраструктура, облачные сервисы, облачные технологии, потоки, потоковые данные, производительность, тестирование, Тестирование веб-сервисов
Широкое использование технологий Apache-стека — очевидный тренд. И Kafka на острие популярности: нынче людей, знающих такой брокер сообщений, пожалуй, превосходит количество тех, кто привык рядом со словом Кафка видеть слово Франц.
Мы и сами активно используем эту технологию в наших проектах. Но ведь всегда интересно, а как оно получается у других? И вдвойне интересно, если это не просто пример из чьей-то практики, а целенаправленное тестирование технологии. Поэтому мы перевели свежую статью, в которой рассказывается о том, как Dropbox опытным путём искал границы возможностей и лимиты выносливости у Kafka. И нашёл что хотел.
Apache Kafka – мой конспект
2018-05-01 в 2:37, admin, рубрики: apache kafka, Consumer, java, Producer, Streams, Системы обмена сообщениямиApache Kafka – мой конспект
Это мой конспект, в котором коротко и по сути затрону такие понятия Kafka как:
— Тема (Topic)
— Подписчики (consumer)
— Издатель (producer)
— Группа (group), раздел (partition)
— Потоки (streams)
Kafka — основное
При изучении Kafka возникали вопросы, ответы на которые мне приходилось эксперементально получать на примерах, вот это и изложено в этом конспекте. Как стартовать и с чего начать я дам одну из ссылок ниже в материалах.
Apache Kafka – диспетчер сообщений на Java платформе. В Kafka есть тема сообщения в которую издатели пишут сообщения и есть подписчики в темах, которые читают эти сообщения, все сообщения в процессе диспетчеризации пишутся на диск и не зависит от потребителей.
Читать полностью »
О стримах и таблицах в Kafka и Stream Processing, часть 1
2018-04-11 в 8:07, admin, рубрики: apache kafka, big data, java, scala, stream processing, Блог компании Контур, потоковая обработка данных, Программирование, стримы* Michael G. Noll — активный контрибьютор в Open Source проекты, в том числе в Apache Kafka и Apache Storm.
Статья будет полезна в первую очередь тем, кто только знакомится с Apache Kafka и/или потоковой обработкой [Stream Processing].
В этой статье, возможно, в первой из мини-серии, я хочу объяснить концепции Стримов [Streams] и Таблиц [Tables] в потоковой обработке и, в частности, в Apache Kafka. Надеюсь, у вас появится лучшее теоретическое представление и идеи, которые помогут вам решать ваши текущие и будущие задачи лучше и/или быстрее.
Содержание:
* Мотивация
* Стримы и Таблицы простым языком
* Иллюстрированные примеры
* Стримы и Таблицы в Kafka простым языком
* Пристальный взгляд на Kafka Streams, KSQL и аналоги в Scala
* Таблицы стоят на плечах гигантов (на стримах)
* Turning the Database Inside-Out
* Заключение
Читать полностью »