Kafka, в отличие от реляционных баз данных, является молодой технологией, и потому инструментарий для автоматического тестирования приложений, созданных на базе этой платформы, был доступен разработчикам с самого начала. Хотя на первый взгляд с этим инструментарием всё обстоит очень хорошо — бери и пиши тесты! — на практике приходится сталкиваться с трудностями, о которых хочу поведать в этом посте.
Рубрика «kafka streams»
Подводные камни тестирования Kafka Streams
2020-05-12 в 9:18, admin, рубрики: java, kafka streams, testcontainers, Тестирование IT-системВиктор Гамов о Kafka Streams IQ на jug.msk.ru
2019-05-12 в 10:44, admin, рубрики: java, JUG, jug.msk.ru, kafka streams, Блог компании JUG.ru Group8 мая 2019 года на встрече московского сообщества Java-разработчиков jug.msk.ru Виктор Гамов рассказал про Kafka Streams IQ (Interactive Queries).
Apache Kafka и потоковая обработка данных с помощью Spark Streaming
2019-05-10 в 5:03, admin, рубрики: amazon, Amazon Web Services, AWS, big data, kafka streams, postgresql, python, RDS, spark, spark streaming, tutorial, облачные сервисы, ПрограммированиеПривет! Сегодня мы построим систему, которая будет при помощи Spark Streaming обрабатывать потоки сообщений Apache Kafka и записывать результат обработки в облачную базу данных AWS RDS.
Представим, что некая кредитная организация ставит перед нами задачу обработки входящих транзакций «на лету» по всем своим филиалам. Это может быть сделано с целью оперативного расчета открытой валютой позиции для казначейства, лимитов или финансового результата по сделкам и т.д.
Как реализовать этот кейс без применения магии и волшебных заклинаний — читаем под катом! Поехали!