В настоящее время в компьютерных сетях практически повсеместно используется протокол IP. Для того, чтобы отправить IP-пакет каждый маршрутизатор ищет в свой таблице маршрутизации наилучший маршрут для адреса назначения пакета. В данной статье я хочу описать алгоритм поиска наилучшего маршрута, реализованного в ядре linux.
Читать полностью »
Рубрика «высокая производительность» - 89
Алгоритм поиска наилучшего маршрута в linux
2017-07-09 в 10:45, admin, рубрики: FIB, linux, RIB, trie, Алгоритмы, высокая производительность, математика, системное программирование, таблица маршрутизацииKubernetes & production — быть или не быть?
2017-07-07 в 6:01, admin, рубрики: alerting, Amazon Web Services, api, cloud, devops, docker, docker systems, k8s, kubernetes, monitoring, network, servers, Анализ и проектирование систем, высокая производительность, облако, Программирование, Промышленное программированиеСотни контейнеров. Миллионы внешних запросов. Миллиарды внутренних транзакций. Мониторинг и нотификации проблем. Простое масштабирование. 99% up time. Деплои и откатывание релизов.
Kubernetes как решение всех проблем! «Быть или не быть?» — вот в чем вопрос!
Читать полностью »
Делаем деньги из дождя или засухи. Опыт The Weather Company
2017-07-06 в 8:45, admin, рубрики: ibm weather, аналитика, Блог компании IBM, высокая производительность, машинное обучение, облачные сервисы, погода, прогноз погоды, метки: ibm weather
В последние несколько месяцев одной из главных тем обсуждения в европейской части России была погода. Уж слишком она была неоднозначной и неожиданной этой весной. Ураганы были разрушительными, устранение последствий выражается в сотнях миллионах рублей, нередки были трагические исходы – неужели всего этого нельзя было избежать, или хотя бы снизить эффект? Возможно, немногие задумывались о том, как сильно погода влияет на наш образ жизни.
Разве мы не меняем планы на выходные, если идет дождь, или, наоборот, стремимся в парки, если на улице хорошая погода? Разве погода и метеоусловия не влияют на то, что мы едим, какую одежду носим, что и где покупаем? Опыт The Weather Company показывает, что точный прогноз погоды не только влияет на различные отрасли в мире, но и может быть коммерчески успешным.
Читать полностью »
Proxmox 5 и частичная запись в блочных устройствах эффективного хранения Ceph
2017-07-05 в 19:56, admin, рубрики: block device, BlueStore, Ceph Kraken, Ceph Luminous, crush, Erasure Coding, OSD, proxmox 5, RADOS, rbd, высокая производительность, параллельное программирование, Промышленное программирование, Разработка под Linux, системное программирование, метки: BlueStore, Ceph Kraken, Ceph Luminous, Erasure Coding, Proxmox 5, RADOS, RBDОфициальный выпуск Ceph Luminous от производителя мы ждём в ноябре 2017, однако Proxmox 5 уже позволяет использовать в промышленных решениях некую редакцию Ceph Luminous, которая, как и полагается, в качестве основного файлового хранилища по умолчанию предлагает BlueStore. Последнее полноценно поддерживает транзакции с операциями хранения объектов, что делает возможными большое число вкусностей. Одной из них является способность осуществления частичной перезаписи данных в блочных устройствах на основе пулов с удаляющим кодированием (Erasure Coding). Такие пулы, в частности, способны (при наличии достаточного числа физических дисков и серверов) приближать использование имеющегося сырого дискового пространства сколь угодно близко к 100%.
Et voilà!
Читать полностью »
Что, если выкинуть все лишнее из базы в распределенный кэш – наш опыт использования Hazelcast
2017-07-05 в 8:16, admin, рубрики: Hazelcast, in-memory database, open source, split brain, Анализ и проектирование систем, Блог компании Яндекс.Деньги, высокая производительность, Разработка под e-commerce
Так как базы данных Яндекс.Денег вынуждены хранить массу второстепенной и временной информации, однажды такое решение перестало быть оптимальным. Поэтому в инфраструктуре появился распределенный Data Grid с функциями in-memory базы данных на базе Hazelcast.
В обмен на стабильно высокую производительность и отказоустойчивость мы получили любопытный опыт внедрения, который не во всем повторяет документацию. Под катом вы найдете рассказ о решении проблем Hazelcast при работе под высокой нагрузкой, борьбе со Split Brain, а также впечатления от работы с распределенным хранилищем данных в большой инфраструктуре.Читать полностью »
Доставка миллиардов сообщений строго один раз
2017-07-05 в 5:45, admin, рубрики: api, Go, LSM-дерево, rocksdb, segment, UUIDv4, Анализ и проектирование систем, векторные часы, высокая производительность, однократная доставка, подтверждение доставки, Разработка систем передачи данных, Системы обмена сообщениями, метки: Kafka, Segment, UUIDv4, векторные часы, однократная доставка, подтверждение доставки
Единственное требование ко всем системам передачи данных состоит в том, что нельзя потерять данные. Данные обычно могут поступить с опозданием или их можно запросить заново, но их никогда нельзя терять.
Чтобы удовлетворить этому требованию, большинство распределённых систем гарантирует по крайней мере однократную доставку. Техники обеспечения «по крайней мере однократной доставки» обычно сводятся к «повторам, повторам и повторам». Вы никогда не считаете сообщение доставленным, пока не получите чёткое подтверждение от клиента.
Но как пользователю по крайней мере однократная доставка — это не совсем то, что я хочу. Я хочу, чтобы сообщения доставлялись один раз. И только один раз.
Читать полностью »
AMD Strikes Back: Доля AMD на рынке CPU выросла до 31%
2017-07-04 в 11:21, admin, рубрики: amd, ryzen, Блог компании ИТ-ГРАД, высокая производительность, ИТ-ГРАДПо данным PassMark, AMD смогли «отвоевать» 10,4% рынка CPU во втором квартале 2017 года. Это самый крупный прирост доли рынка x86 CPU, который испытывала компания за все время.
Отвечаем на вопросы читателей: что такое когнитивная система IBM Watson, и как она работает?
2017-07-01 в 9:27, admin, рубрики: ibm watson, Блог компании IBM, будущее, высокая производительность, когнитивные системы, машинное обучение, облачные сервисы
Александр Дмитриев
Добрый день! Сегодня о том, что собой представляет когнитивная система Watson и как она работает расскажет Александр Дмитриев, бизнес-консультант Клиентского центра IBM в Москве. Он ответит на вопросы, которые возникали у читателей по прочтении других материалов на эту тему.
Читать полностью »
Повышаем качество данных с Oracle Enterprise Data Quality
2017-06-30 в 12:58, admin, рубрики: data quality, edq, enterprise data quality, oracle, siebel, Анализ и проектирование систем, Блог компании Инфосистемы Джет, высокая производительность, дедупликация, качество данных, метки: data quality, enterprise data quality, siebelВ большинстве проектов по внедрению Siebel, так или иначе, приходится сталкиваться с проблемами качества данных. В этой части Oracle предлагает интересное решение – Enterprise Data Quality с возможностью интегрирования в Siebel (что нас собственно и привлекло). В данном материале я вкратце расскажу о самом продукте, его архитектуре, а также покажу, как можно создать простой процесс повышения качества данных.
Коротко о продукте
EDQ ‒ продукт, позволяющий управлять качеством информации. Основой для анализа EDQ могут служить разные источники данных, такие как:
- базы данных (Oracle, Postgres, DB2, MySql и т.д.),
- текстовые файлы,
- XML-файлы,
- MS Office файлы,
- системные файлы и прочее.
Использование Pinba в Badoo: то, чего вы еще не знаете
2017-06-30 в 8:21, admin, рубрики: php, pinba, Блог компании Badoo, высокая производительность, Программирование
Привет! Меня зовут Денис, я – PHP-разработчик в Badoo, и сейчас я расскажу, как мы сами используем Pinba. Предполагается, что вы уже знаете, что это за инструмент, и у вас есть опыт его эксплуатации. Если нет, то для ознакомления рекомендую статью моего коллеги, Максима Матюхина.
Вообще на Хабре есть достаточно материалов об использовании Pinba в различных компаниях, включая пост Олега Ефимова в нашем блоге. Но все они касаются других компаний, а не Badoo, что немного нелогично: сами придумали инструмент, выложили в open source и не делимся опытом. Да, мы часто упоминаем Pinba в различных публикациях и в докладах на IT-конференциях, но обычно это выглядит как-то так: «А вот эти замечательные графики мы получили по данным из Pinba» или «Для измерения мы использовали Pinba», и всё.
Общение с коллегами из других компаний показало две вещи: во-первых, достаточно много людей используют Pinba, а во-вторых, часть из них не знают или не используют все возможности этого инструмента, а некоторые не до конца понимают его предназначение. Поэтому я постараюсь рассказать о тех нюансах, которые явно не указаны в документации, о новых возможностях и наиболее интересных кейсах применения Pinba в Badoo. Поехали!