Привет, Хаброжители! Эта книга подойдет для любого разработчика, который хочет разобраться в потоковой обработке. Понимание распределенного программирования поможет лучше изучить Kafka и Kafka Streams. Было бы неплохо знать и сам фреймворк Kafka, но это не обязательно: я расскажу вам все, что нужно. Опытные разработчики Kafka, как и новички, благодаря этой книге освоят создание интересных приложений для потоковой обработки с помощью библиотеки Kafka Streams. Java-разработчики среднего и высокого уровня, уже привычные к таким понятиям, как сериализация, научатся применять свои навыки для создания приложений Kafka Streams. Исходный код книги написан на Java 8 и существенно использует синтаксис лямбда-выражений Java 8, так что умение работать с лямбда-функциями (даже на другом языке программирования) вам пригодится.
Читать полностью »
Рубрика «Apache»
Книга «Kafka Streams в действии. Приложения и микросервисы для работы в реальном времени»
2019-06-27 в 13:26, admin, рубрики: Apache, big data, Блог компании Издательский дом «Питер», высокая производительность, книги, Профессиональная литератураДвухфакторная аутентификация на сайте с использованием USB-токена. Теперь и для Linux
2019-06-27 в 13:07, admin, рубрики: Apache, HTTPS, linux, nginx, Блог компании «Актив», двухфакторная аутентификация, информационная безопасность, Серверное администрирование
В одной из наших предыдущих статей мы рассказывали про важность двухфакторной аутентификации на корпоративных порталах компаний. В прошлый раз мы продемонстрировали, как настроить безопасную аутентификацию в web-сервере IIS.
В комментариях нас просили написать инструкцию для самых распространенных web-серверов под Linux — nginx и Apache.
Вы просили — мы написали.
Читать полностью »
Как IT-компания книжное издательство открывала — и выпустила книгу про Kafka
2019-04-25 в 6:25, admin, рубрики: Apache, apache kafka, diy или сделай сам, ITSumma, библиотека, Блог компании ITSumma, издательское дело, книги, книгоиздание, литература, Профессиональная литература
В последнее время некоторым начинает казаться, будто такой «консервативный» источник информации как книга начинает сдавать позиции и теряет актуальность. А зря: несмотря на то, что мы уже живём в эпоху цифровую и вообще работаем в IT, книжки мы любим и уважаем. Особенно такие, которые не просто учебник по конкретной технологии, а реальный источник общего знания. Особенно такие, которые не потеряют актуальность полгода спустя. Особенно такие, которые написаны хорошим языком, грамотно переведены и красиво оформлены.
И знаете, что оказалось? Таких книг нет.
Либо — либо — либо. А вот этой прекрасной книги, в которой сочетается всё, что думающий и практикующий специалист ценит, — её нет.
Поэтому мы решили, что она должна быть. И не одна — таких книг должно быть много. Решили — и открыли собственное издательство ITSumma Press: возможно, первое издательство в России, созданное IT-компанией.
Было потрачено много сил, времени и порядком денег. Но вот за день до конференции Uptime day 4 мы получили пилотный тираж и подержали первую изданную нами книгу в руках (весь тираж подарили участникам конференции в итоге). Невероятное ощущение! Никогда заранее не знаешь, куда в итоге может тебя привести твоя тяга к прекрасному. Первая книга, по понятным причинам, была своеобразным пробным шаром. Нам нужно было самим прощупать весь процесс книгоиздательства, понять, что мы можем привнести сразу, а над чем нужно будет подумать ещё. И по итогу мы остались очень довольны результатом. Это важное дело, которое мы хотим продолжать и развивать. А в этом тексте хочу просто рассказать, с чего всё начиналось, как мы спорили про название, как заключили договор с, ни много, ни мало, самими O’Reilly и сколько редактур надо провести, прежде чем отдать текст в прод в типографию.
Очереди и JMeter: обмен с Publisher и Subscriber
2019-04-13 в 15:34, admin, рубрики: Apache, groovy, java, jmeter, jms, open source, qa, qa automation, qa testing, queue, queues, test automation, тестирование, Тестирование IT-систем, тестирование поПривет! Это сиквел моей предыдущей публикации, в котором расскажу о вариантах размещения сообщений в очередях с помощью JMeter.
Мы делаем шину данных для крупной федеральной компании. Различные форматы запросов, преобразования, замысловатая маршрутизация. Для тестирования нужно отправлять много сообщений в очереди. Вручную — боль, с которой справится не каждый мануальщик.
Как стать коммиттером и действительно ли вам это нужно
2019-04-03 в 6:00, admin, рубрики: Apache, Apache Ignite, open source, Блог компании Сбербанк, Карьера в IT-индустрии, коммиттер, разработка, управление проектамиПривет! Меня зовут Дмитрий Павлов, я работаю в GridGain, а также являюсь коммиттером и участником PMC в Apache Ignite и контрибьютором в Apache Training. Недавно я выступал c докладом о работе коммиттера на митапе Сбербанка по open source. С развитием opensource-сообщества у многих все чаще стали возникать вопросы: как стать коммиттером, какие задачи брать и сколько строчек кода надо написать, чтобы получить эту роль. Когда мы думаем о коммиттерах, нам сразу представляются всемогущие и всезнающие люди с короной на голове и томиком «Чистый код» вместо скипетра. Так ли это? В своем посте я постараюсь ответить на все важные вопросы о коммиттерах, чтобы вы могли понять, действительно ли вам это нужно.
Опыт разработки сервиса Refund Tool с асинхронным API на Kafka
2019-04-02 в 9:00, admin, рубрики: Apache, event sourcing, event-driven, events-bus, Блог компании Lamoda, Блог компании Конференции Олега Бунина (Онтико), Разработка веб-сайтовЧто может заставить такую большую компанию как Lamoda с отлаженным процессом и десятками взаимосвязанных сервисов существенно менять подход? Мотивация может быть совершенно разная: от законодательной до присущего всем программистам желания экспериментировать.
Но это вовсе не значит, что нельзя рассчитывать на дополнительную выгоду. В чем конкретно можно выиграть, если внедрить events-driven API на Kafka, расскажет Сергей Заика (fewald). Про набитые шишки и интересные открытия тоже обязательно будет — не может эксперимент без них обойтись.
Disclaimer: Это статья основана на материалах митапа, который Сергей провел в ноябре 2018 года на HighLoad++. Живой опыт Lamoda работы с Kafka привлек слушателей не меньше, чем на другие доклады из расписания. Нам кажется, это отличный пример того, что всегда можно и нужно находить единомышленников, а организаторы HighLoad++ и дальше будут стараться создавать располагающую к этому атмосферу.
Читать полностью »
Как подружить Ovirt и Let’s Encrypt
2019-03-17 в 10:22, admin, рубрики: Apache, apache2, cert, certificate, certificates, certification authority, java, Let's Encrypt, linux, nginx, nginx сертификаты, open source, ovirt, PKI, python, виртуализация, Настройка LinuxШагая по пути улучшения инфраструктуры, я решил добить древний и мучительный вопрос — без лишних телодвижений предоставлять возможность коллегам (разработчикам, тестировщикам, админам, etc ) самостоятельно управлять своими виртуалками в ovirt'е. В ovirt есть несколько компонентов, которые надо настроить для решения моего вопроса: сам веб интерфейс, noVNC консоль и заливка образов дисков.
Кнопки «Сделать Зашибись» я не нашёл, поэтому показываю какие ручки я крутил, чтобы решить данную задачу. Полная инструкция под катом:
Картографирование шума с помощью KSQL, Raspberry Pi и радиоприемника
2019-03-07 в 4:10, admin, рубрики: Apache, apache kafka, ITSumma, KSQL, Raspberry Pi, авиация, Алгоритмы, анализ, Блог компании ITSumma, Геоинформационные сервисы, исследования, котики, перевод, Разработка на Raspberry Pi, самолеты
На первый взгляд, в этой истории есть всё, чтобы заслужить статус романтичного поста накануне 8 марта: самолёты, любовь, чуточку шпионажа и, наконец, котик (точнее, кошка). Трудно представить, что всё это имеет самое непосредственное отношение к Kafka, KSQL и эксперименту «как в домашних условиях с помощью информационных технологий найти самый шумный самолёт». Трудно, но придётся: именно такой эксперимент провёл Саймон Обьюри, а мы перевели статью его авторства с описанием всех подробностей процесса.
Читать полностью »
Деградация программного обеспечения
2019-02-28 в 10:39, admin, рубрики: Apache, Firefox 3.6, GIL, nginx, open source, python, деградация программного обеспечения, Проектирование и рефакторинг, Управление продуктом, управление проектамиВ книге «Электромагнитная эпоха: работа, любовь и жизнь, когда роботы правят миром» Робин Хэнсон кратко обсуждает деградацию программ:
Программное обеспечение изначально было разработано для одного набора задач, инструментов и ситуаций. Но оно медленно изменяется, чтобы справиться с постоянным потоком новых задач, инструментов и ситуаций. Такой софт становится более сложным, хрупким, в него труднее вносить полезные изменения (Леман и Биледи, 1985)1. В конце концов, лучше начать всё сначала и написать с нуля новые подсистемы, а иногда и полностью новые системы.
Я уверен, что это правда. Как правило, грамотная адаптация программного обеспечения к новым условиям занимает больше времени и усилий, чем написание нового программного обеспечения с нуля. Программисты не любят признавать это, но доказательства очевидны. В проектах open source есть несколько известных примеров.
Читать полностью »
Исследуем пределы пропускной способности Kafka в инфраструктуре Dropbox
2019-02-14 в 8:01, admin, рубрики: Apache, apache kafka, DropBox, ITSumma, open source, Блог компании ITSumma, брокер сообщений, высокая производительность, инфраструктура, облачные сервисы, облачные технологии, потоки, потоковые данные, производительность, тестирование, Тестирование веб-сервисов
Широкое использование технологий Apache-стека — очевидный тренд. И Kafka на острие популярности: нынче людей, знающих такой брокер сообщений, пожалуй, превосходит количество тех, кто привык рядом со словом Кафка видеть слово Франц.
Мы и сами активно используем эту технологию в наших проектах. Но ведь всегда интересно, а как оно получается у других? И вдвойне интересно, если это не просто пример из чьей-то практики, а целенаправленное тестирование технологии. Поэтому мы перевели свежую статью, в которой рассказывается о том, как Dropbox опытным путём искал границы возможностей и лимиты выносливости у Kafka. И нашёл что хотел.