Всем привет! Меня зовут Юрий Лилеков, я работаю в Server Team Badoo. На днях мне попалась довольно интересная статья о новой семантике exactly-once в Apache Kafka, которую я с радостью для вас перевёл.
Рубрика «высокая производительность» - 90
Семантика exactly-once в Apache Kafka
2017-07-14 в 10:25, admin, рубрики: apache kafka, Блог компании Badoo, высокая производительность, Программирование, Разработка систем передачи данных, Системы обмена сообщениямиНагрузочное тестирование Web-систем. Как к нему подготовиться
2017-07-11 в 11:41, admin, рубрики: web-сайт, высокая производительность, нагрузочное тестирование, Тестирование веб-сервисовЕсли вы все знаете о нагрузочном тестировании и как правильно к нему подготовиться, то вам статья будет не интересна. Статья рассчитана на тех, кто хочет понять как строить “правильные” профили для тестирования и на что необходимо обращать внимание при подготовке сценария. Речь будет идти о Web-системах с Web-интерфейсом.
Читать полностью »
Запись с 1 млн нейронов: новые планы DARPA
2017-07-11 в 10:45, admin, рубрики: Darpa, Блог компании ИТ-ГРАД, высокая производительность, ИТ-ГРАД, нейроинтерфейсНа днях IEEE Spectrum рассказали о новом заказе DARPA. Он входит в тематическую программу по нейроинженерии и разработке соответствующих систем, которой занимается Управление.
Первая российская материнская плата массового сегмента
2017-07-10 в 8:10, admin, рубрики: Rikor R-BD-E5R-V4-16.EA, STSS Flagman, Блог компании STSS, высокая производительность, российская материнская плата, российский сервер, сравнение производительности, Тестирование IT-систем, тестирование производительности, метки: Rikor R-BD-E5R-V4-16.EA
Как мы уже писали, степень локализации отечественной серверной продукции массового сегмента выражена в большей степени в предоставлении различного рода услуг, нежели чем в производстве комплектующих. Комплектующие для серверов традиционно производятся в Китае, к какому бренду они не принадлежали бы. У одной российской компании была попытка создания полностью отечественной платформы, но продукт получился нишевой, так как платформа обладала характеристиками избыточными для классического применения серверов.
Но вот, в начале года мы получили образец серверной 2-процессорной материнской платы, разработанной и произведённой на территории России. Эта модель вызвала интерес в первую очередь из-за того, что по характеристикам и стоимости полностью подходила для массового применения. Обзору и тестированию первой российской материнской платы Rikor R-BD-E5R-V4-16.EA и посвящается эта статья.Читать полностью »
Быстрое удаление пробелов из строк на процессорах ARM
2017-07-09 в 15:33, admin, рубрики: avx, movemask, neon, open source, SS4, sse, x64, x86, Алгоритмы, высокая производительность, Программирование
Предположим, что я дал вам относительно длинную строку, а вы хотите удалить из неё все пробелы. В ASCII мы можем определить пробелы как знак пробела (‘ ’) и знаки окончания строки (‘r’ и ‘n’). Меня больше всего интересуют вопросы алгоритма и производительности, так что мы можем упростить задачу и удалить все байты со значениями меньшими либо равными 32.
В предыдущией статье, где я задавал вопрос об удалении пробелов на скорость, лучшим ответом было использование векторизации с помощью 128-битных регистров (SSE4). Оно оказалось в 5-10 раз быстрее подхода в лоб.
Очень удобно, что во всех процессорах имеются 128-битные векторные регистры, также как в процессорах x64. Неужели процессоры ARM могут работать настолько же быстро, как процессоры x64?
Читать полностью »
Алгоритм поиска наилучшего маршрута в linux
2017-07-09 в 10:45, admin, рубрики: FIB, linux, RIB, trie, Алгоритмы, высокая производительность, математика, системное программирование, таблица маршрутизацииВ настоящее время в компьютерных сетях практически повсеместно используется протокол IP. Для того, чтобы отправить IP-пакет каждый маршрутизатор ищет в свой таблице маршрутизации наилучший маршрут для адреса назначения пакета. В данной статье я хочу описать алгоритм поиска наилучшего маршрута, реализованного в ядре linux.
Читать полностью »
Kubernetes & production — быть или не быть?
2017-07-07 в 6:01, admin, рубрики: alerting, Amazon Web Services, api, cloud, devops, docker, docker systems, k8s, kubernetes, monitoring, network, servers, Анализ и проектирование систем, высокая производительность, облако, Программирование, Промышленное программированиеСотни контейнеров. Миллионы внешних запросов. Миллиарды внутренних транзакций. Мониторинг и нотификации проблем. Простое масштабирование. 99% up time. Деплои и откатывание релизов.
Kubernetes как решение всех проблем! «Быть или не быть?» — вот в чем вопрос!
Читать полностью »
Делаем деньги из дождя или засухи. Опыт The Weather Company
2017-07-06 в 8:45, admin, рубрики: ibm weather, аналитика, Блог компании IBM, высокая производительность, машинное обучение, облачные сервисы, погода, прогноз погоды, метки: ibm weather
В последние несколько месяцев одной из главных тем обсуждения в европейской части России была погода. Уж слишком она была неоднозначной и неожиданной этой весной. Ураганы были разрушительными, устранение последствий выражается в сотнях миллионах рублей, нередки были трагические исходы – неужели всего этого нельзя было избежать, или хотя бы снизить эффект? Возможно, немногие задумывались о том, как сильно погода влияет на наш образ жизни.
Разве мы не меняем планы на выходные, если идет дождь, или, наоборот, стремимся в парки, если на улице хорошая погода? Разве погода и метеоусловия не влияют на то, что мы едим, какую одежду носим, что и где покупаем? Опыт The Weather Company показывает, что точный прогноз погоды не только влияет на различные отрасли в мире, но и может быть коммерчески успешным.
Читать полностью »
Proxmox 5 и частичная запись в блочных устройствах эффективного хранения Ceph
2017-07-05 в 19:56, admin, рубрики: block device, BlueStore, Ceph Kraken, Ceph Luminous, crush, Erasure Coding, OSD, proxmox 5, RADOS, rbd, высокая производительность, параллельное программирование, Промышленное программирование, Разработка под Linux, системное программирование, метки: BlueStore, Ceph Kraken, Ceph Luminous, Erasure Coding, Proxmox 5, RADOS, RBDОфициальный выпуск Ceph Luminous от производителя мы ждём в ноябре 2017, однако Proxmox 5 уже позволяет использовать в промышленных решениях некую редакцию Ceph Luminous, которая, как и полагается, в качестве основного файлового хранилища по умолчанию предлагает BlueStore. Последнее полноценно поддерживает транзакции с операциями хранения объектов, что делает возможными большое число вкусностей. Одной из них является способность осуществления частичной перезаписи данных в блочных устройствах на основе пулов с удаляющим кодированием (Erasure Coding). Такие пулы, в частности, способны (при наличии достаточного числа физических дисков и серверов) приближать использование имеющегося сырого дискового пространства сколь угодно близко к 100%.
Et voilà!
Читать полностью »
Что, если выкинуть все лишнее из базы в распределенный кэш – наш опыт использования Hazelcast
2017-07-05 в 8:16, admin, рубрики: Hazelcast, in-memory database, open source, split brain, Анализ и проектирование систем, Блог компании Яндекс.Деньги, высокая производительность, Разработка под e-commerce
Так как базы данных Яндекс.Денег вынуждены хранить массу второстепенной и временной информации, однажды такое решение перестало быть оптимальным. Поэтому в инфраструктуре появился распределенный Data Grid с функциями in-memory базы данных на базе Hazelcast.
В обмен на стабильно высокую производительность и отказоустойчивость мы получили любопытный опыт внедрения, который не во всем повторяет документацию. Под катом вы найдете рассказ о решении проблем Hazelcast при работе под высокой нагрузкой, борьбе со Split Brain, а также впечатления от работы с распределенным хранилищем данных в большой инфраструктуре.Читать полностью »