Привет, Хаброжители! Эта книга подойдет для любого разработчика, который хочет разобраться в потоковой обработке. Понимание распределенного программирования поможет лучше изучить Kafka и Kafka Streams. Было бы неплохо знать и сам фреймворк Kafka, но это не обязательно: я расскажу вам все, что нужно. Опытные разработчики Kafka, как и новички, благодаря этой книге освоят создание интересных приложений для потоковой обработки с помощью библиотеки Kafka Streams. Java-разработчики среднего и высокого уровня, уже привычные к таким понятиям, как сериализация, научатся применять свои навыки для создания приложений Kafka Streams. Исходный код книги написан на Java 8 и существенно использует синтаксис лямбда-выражений Java 8, так что умение работать с лямбда-функциями (даже на другом языке программирования) вам пригодится.
Читать полностью »
Рубрика «высокая производительность» - 39
Книга «Kafka Streams в действии. Приложения и микросервисы для работы в реальном времени»
2019-06-27 в 13:26, admin, рубрики: Apache, big data, Блог компании Издательский дом «Питер», высокая производительность, книги, Профессиональная литератураHow to speed up LZ4 decompression in ClickHouse?
2019-06-25 в 14:42, admin, рубрики: bayesian optimization, big data, c++, clickhouse, data compression, databases, highload, lz4, lz77, open source, performance, Блог компании Яндекс, высокая производительностьWhen you run queries in ClickHouse, you might notice that the profiler often shows the LZ_decompress_fast function near the top. What is going on? This question had us wondering how to choose the best compression algorithm.
ClickHouse stores data in compressed form. When running queries, ClickHouse tries to do as little as possible, in order to conserve CPU resources. In many cases, all the potentially time-consuming computations are already well optimized, plus the user wrote a well thought-out query. Then all that's left to do is to perform decompression.
So why does LZ4 decompression becomes a bottleneck? LZ4 seems like an extremely light algorithm: the data decompression rate is usually from 1 to 3 GB/s per processor core, depending on the data. This is much faster than the typical disk subsystem. Moreover, we use all available CPU cores, and decompression scales linearly across all physical cores.
Читать полностью »
Нейроморфные системы: компьютеры, вдохновлённые устройством человеческого мозга
2019-06-25 в 13:20, admin, рубрики: Анализ и проектирование систем, Блог компании ИТ-ГРАД, высокая производительность, ИТ-ГРАД, нейроморфные системыРассказываем, кто и почему ими занимается.
/ фото Paweł Czerwiński Unsplash
Что такое нейроморфный чип
Это — процессор, работа которого основана на принципах действия человеческого мозга. Такие устройства моделируют работу нейронов и их отростков — аксонов и дендритов — отвечающих за передачу и восприятие данных. Связи между нейронами образуются за счет синапсов — специальных контактов, по которым транслируются электрические сигналы.
Одна из задач нейроморфных устройств — ускорить обучение сверточных нейронных сетей для распознавания изображений. Системам искусственного интеллекта на базе этой технологии не нужно обращаться к массивному хранилищу с тренировочными данными по сети — вся информация постоянно содержится в искусственных нейронах. Такой подход дает возможность реализовывать алгоритмы машинного обучения локально. Поэтому ожидается, что нейроморфные чипы найдут применение в мобильных устройствах, IoT-гаджетах, а также дата-центрах.Читать полностью »
Современный подход к конкурентности в Android: корутины в Kotlin
2019-06-23 в 5:35, admin, рубрики: android, java, kotlin, Retrofit. акторы, Блог компании Издательский дом «Питер», высокая производительность, многопоточность, ПрограммированиеПривет!
Напоминаем, что у нас уже открыт предзаказ на долгожданную книгу о языке Kotlin из знаменитой серии Big Nerd Ranch Guides. Сегодня мы решили предложить вашему вниманию перевод статьи, рассказывающей о корутинах Kotlin и о правильной работе с потоками в Android. Тема обсуждается очень активно, поэтому для полноты картины также рекомендуем посмотреть эту статью с Хабра и этот подробный пост из блога компании Axmor Software.
Читать полностью »
Какими могут быть вычислительные системы будущего
2019-06-22 в 9:34, admin, рубрики: Блог компании ИТ-ГРАД, высокая производительность, вычисления в облаках, ДНК-вычисления, ИТ-ГРАД, нейроморфные процессорыРассказываем, что нового может появиться в дата-центрах и не только в них.
/ фото jesse orrico Unsplash
Считается, что кремниевые транзисторы приближаются к своему технологическому пределу. В прошлый раз мы рассказывали о материалах, которые могут заменить кремний и обсуждали альтернативные подходы к разработке транзисторов. Сегодня говорим о концепциях, способных трансформировать принципы работы традиционных вычислительных систем: квантовых машинах, нейроморфных чипах и компьютерах на основе ДНК.
Читать полностью »
Сократить энергопотребление в ЦОД — поможет новый фотонный чип
2019-06-20 в 16:15, admin, рубрики: ITGLOBAL.COM, Блог компании ITGLOBAL.COM, высокая производительность, энергоэффективностьВ MIT разработали архитектуру нового фотонного процессора. Он повысит эффективность работы оптических нейросетей в тысячу раз, по сравнению с аналогичными устройствами.
Чип сократит объемы электричества, потребляемые ЦОД. Рассказываем, как он устроен.
В рейтинге Top500 осталось только два российских суперкомпьютера
2019-06-19 в 9:43, admin, рубрики: summit, top500, высокая производительность, Компьютерное железо, ЛомоносовСуперкомпьютер «Ломоносов» выпал из мирового рейтинга Top500 (свежая версия за июнь 2019 года). Это вполне естественное событие, потому что первую версию «Ломоносова» ввели в строй в далёком 2011 году, а мощности суперкомпьютеров постоянно растут. Поэтому вычислительный кластер, который когда-то входил в топ-15, постепенно опускался в рейтинге и в итоге выпал из него.
Проблема на самом деле в другом — что ничего более мощного российские инженеры за этот период не ввели в строй. Поэтому российское представительство в рейтинге сократилось всего до двух штук: это «Ломоносов-2» из МГУ и СуперЭВМ главного вычислительного центра Росгидромета. В новом рейтинге они занимают 93 и 365 места.
Два суперкомпьютера — это много или мало? Для сравнений, Китай представлен в рейтинге 219 суперкомпьютерами, США — 116 (уступая по количеству, США обгоняют Китай по средней мощности), далее следуют Япония (29), Франция (19), Великобритания (18), Германия (14), Ирландия (13 одинаковых кластеров Lenovo C1040).
Читать полностью »
Кластер системы видеоконференцсвязи на базе Yealink Meeting Server
2019-06-19 в 9:35, admin, рубрики: cluster, h.323, IPmatika, linux, mcu, sip, skype, skype for business, stss, yealink, Yealink Meeting Server, YMS, АйПиМатика, аппаратный терминал, Блог компании STSS, вебинар, видеоконференция, видеоконференцсвязь, вкс, высокая производительность, интеграция, кластер, клиентское устройство, кодек, мероприятие, программный сервер, Работа с видео, совещание, телефония, Тестирование IT-систем
Эта статья является продолжением цикла публикаций, посвященного комплексному решению ВКС Yealink Meeting Server (YMS).
В прошлой статье Yealink Meeting Server 2.0 — новые возможности видеоконференцсвязи мы описали существенный прорыв в функционале решения:
- добавился собственный сервис записи конференций, интегрированный в YMS
- появился новый тип лицензии — Broadcast, который позволяет оптимизировать стоимость асимметричных конференций
- обеспечена интеграция с решением Skype for Business и Teams
В этой статье мы рассмотрим возможность каскадирования YMS — установку и настройку системы в режиме «кластер».
Читать полностью »
Рост вверх: как мы проводим оценку навыков в команде
2019-06-19 в 5:06, admin, рубрики: высокая производительность, дизайн, развитие дизайнераПривет! Я — Ваня Соловьёв, дизайн-директор DocDoc (входит в группу Сбербанк). Сегодня рубрика Дрим-тим, в которой рассказываем, как создаём команду мечты.
Для развития нашей команды дизайна, мы остановились на двух инструментах. И они дополняют друг друга.
Первый инструмент: уровни в дизайне
Мы внедрили прозрачную систему роста, которая решает долгосрочные проблемы:
- дизайнера — «непонятно как получить прибавку к зарплате и куда дальше развиваться, на какие курсы ходить?»;
- компании — «как систематизировать развитие дизайнеров в нужном направлении?».
Второй инструмент: оценка навыков
Помогает точечно развивать хард и софт-скиллы каждого дизайнера.
Для лучшего понимания работы этих двух инструментов, представьте, что:
- уровни в дизайне — этот инструмент похож на путеводитель, который показывает весь спектр направлений и точек роста для дизайнера;
- оценка навыков похожа на приборную панель, по которой можно смотреть показатели и понимать — сможет дизайнер расти в нужном направлении или нет.
Make Your Database Dream of Electric Sheep: Designing for Autonomous Operation
2019-06-18 в 13:17, admin, рубрики: autonomous system, machine learning, mysql, postgresql, Алгоритмы, Анализ и проектирование систем, базы данных, Блог компании Конференции Олега Бунина (Онтико), высокая производительностьКак вы думаете, кто лучше настроит PostgreSQL — DBA или ML алгоритм? И если второй, то пора ли нам задуматься, чем заняться, когда нас заменят машины. Или до этого не дойдет, и важные решения все-таки должен принимать человек. Наверное, уровень изоляции и требования к устойчивости транзакций должны оставаться в ведении администратора. Но индексы уже скоро можно будет доверить машине определять самостоятельно.
Энди Павло на HighLoad++ рассказал про СУБД будущего, которые можно «потрогать» уже сейчас. Если пропустили это выступление или предпочитаете получать информацию на русском языке — под катом перевод выступления.
Речь пойдет о проекте университета Карнеги-Меллона, посвященном созданию автономных СУБД. Под термином «автономный» подразумевается система, которая может автоматически развертывать, настраивать, конфигурировать себя без какого-либо вмешательства человека. Возможно, потребуется около десяти лет, чтобы разработать что-то подобное, но именно этим заняты Энди и его студенты. Конечно, для создания автономной СУБД необходимы алгоритмы машинного обучения, однако, в этой статье сосредоточимся только на инженерной стороне темы. Рассмотрим, как проектировать программное обеспечение, чтобы сделать его автономным.
Читать полностью »