Материалы с митапа по Кафке: СDC коннекторы, проблемы роста, Kubernetes

Привет! Недавно в нашем офисе прошёл митап по Кафке. Очные места на него разлетелись со скоростью света. Как сказал один из спикеров: «Кафка секси».

С коллегами из Booking.com, Confluent, и Авито мы обсуждали подчас нелёкую интеграцию и поддержку Кафки, последствия её скрещивания с Kubernetes, а также известные и собственноручно написанные коннекторы для PostgreSQL

Мы смонтировали видео докладов, собрали со спикеров презентации и отобрали красивые фотографии с митапа. Если вам интересно посмотреть и послушать — заходите под кат.

Видеозаписи докладов

Коннекторы: зачем вас так много — Анатолий Солдатов, Авито

Анатолий рассказал, что такое коннекторы, какие преимущества и недостатки есть у JDBC и Debezium, и как мы в Авито пришли к идее написания своего CDC коннектора.

00:00 ^[1] — Представление спикера
04:09 ^[2] — Что такое Kafka Connect, какие коннекторы существуют
18:10 ^[3] — Для чего обычно используется Connect
23:47 ^[4] — Первый кейс Авито: data-bus
28:20 ^[5] — Второй кейс Авито: как мы сделали свой CDC коннектор
41:28 ^[6] — Ответы на вопросы слушателей

→ Презентация Анатолия ^[7]

Как приручить Apache Kafka? Опыт Booking.com — Александр Миронов, Booking.com

Александр поделился историями о ком, какие сложности возникли у его команды при работе с Кафкой, и как их решили.

00:00 ^[8] — Представление спикера
06:22 ^[9] — Какие проблемы появились при росте количества юзкейсов использования Кафки
08:58 ^[10] — Создание абстракций для пользователей
14:15 ^[11] — Аутентификация и секьюрити кластеров
23:53 ^[12] — Сontrol plane, который всё связывает
27:41 ^[13] — Забавные и не очень истории из практики
34:00 ^[14] — Ответы на вопросы слушателей

→ Презентация Александра ^[15]

Kafka на Kubernetes: а по Хуану ли сомбреро? — Виктор Гамов, Confluent

Виктор ответил на вопрос о том, стоит ли запускать Apache Kafka и обрабатывающие потоки приложения на Kubernetes.

00:00 ^[16] — Представление спикера
05:19 ^[17] — Проблемы запуска stateful-приложений на Kubernates
17:52 ^[18] — Kubernetes pod
22:33 ^[19] — Работа с хранилищем
28:24 ^[20] — Custom Kubernetes controllers
48:58 ^[21] — Rolling upgrade
58:05 ^[22] — Ответы на вопросы слушателей

Плейлист со всеми видео можно найти на нашем ютуб-канале ^[23].

Фотографии

Фотографии с митапа мы выложили в Фейсбуке ^[24] и ВКонтакте ^[25]. Посмотрите, как всё прошло, и отмечайте себя и друзей, если были на встрече.

Скоро вернемся с анонсами новых мероприятий в московском офисе Авито. До новых встреч!

Автор: Анна Лесных

Источник ^[26]