Рубрика «высокая производительность» - 127

Уолл Cтрит меняет подход к датацентрам - 1

В начале прошлого года Wall Street Journal писал о том, что Bank of America (BofA), второй по размеру банк в США, активно меняет инфраструктуру своего дата-центра. BofA переходит от традиционного железа своего ДЦ к аппаратному обеспечению, разработанному в рамках Open Compute Project. Напомню, что этим проектом занимается Facebook вместе с большим количеством партнеров. В течение трех лет BofA собирается перенести 80% задач в среду программно-определяемого дата-центра.

Кроме Bank of America, сейчас и другие тяжеловесы финансово-банковской системы США планируют изменить подход к своим ДЦ. К примеру, инженеры Goldman Sachs уже несколько лет работают с Open Compute Project, а представители компании входят в совет директоров OCP foundation с момента основания организации и проекта. Сейчас Goldman старается повсеместно внедрять концепцию OCP в своих проектах.
Читать полностью »

5 отличий дата-центров будущего от современных ДЦ - 1

Облака и виртуализация — то, что давно уже стало современностью, хотя еще недавно выглядело, как будущее, причем весьма отдаленное. Постепенно в мире телекоммуникаций будут появляться все новые технологии, которые в близком уже будущем станут не менее привычными, чем та же виртуализация. Сейчас уже понять, какие тенденции приведут к изменению современного мира телекоммуникаций.

К примеру, те же облачные технологии еще далеко не достигли пика своего развития и популярности. По прогнозам Gartner, только в Индии GAGR (ежегодный показатель роста) к 2017 году увеличится на 33,2%. В эту оценку входит потенциал всех сфер облачных технологий. SaaS и IaaS покажут даже лучшее результаты: 33,4% и 39,8% соответственно. Рост облачных сервисов приведет (и уже приводит) к миграции традиционных ИТ-сервисов на облачную основу.
Читать полностью »

Приветствую всех читателей. Сегодня попробую продолжить серию достаточно редких статей, посвящённым естественным алгоритмам. В частности, эта статья будет посвящена модификации муравьиного алгоритма, известной как Max-Min Ant System (MMAS). Я расскажу об отличиях от классического муравьиного алгоритма и о причинах внесения таких модификаций. Подробности под катом.
Читать полностью »

И снова в эфире наша постоянная рубрика «Лекции Технопарка». На этот раз предлагаем вам ознакомиться с материалами курса «Проектирование высоконагруженных систем». Цель курса — получение студентами навыков проектирования высокоэффективных программных систем.
Читать полностью »

Big Data идет на войну

Dell выпустила защищенный дата-центр для военных - 1

Обработка данных сейчас нужна везде, особенно в этом нуждаются военные, безразлично, в штабе или в полевых условиях. Но для военных может быть затруднительно поддерживать связь с дата-центром, находящимся за сотни или даже тысячи километров от места военных действий. Но почему бы не взять дата-центр с собой? Именно такое решение предлагает компания Dell, анонсировавшая свой Tactical Mobile Data Center.

Естественно, такая система может использоваться не только военными, но и учеными, нефтяниками, геологами, всеми, кому нужны вычислительная мощь, причем практически каждый день. Tactical Mobile Data Center основан в модифицированном контейнере ISU-96, который обычно используется военными, и часто снабжается охлаждающей установкой. Размещение компьютерных систем в таком контейнере, уже зарекомендовавшем себя как надежная защита при перевозках, вполне логичный шаг.
Читать полностью »

На Хабре уже есть статьи о NoSQL СУБД Tarantool и о том, как его используют в Mail.Ru Group (и не только). Однако нет рецептов того, как работать с Tarantool на Python. В своей статье я хочу рассказать о том, как мы готовим Tarantool Python в своих проектах, какие проблемы и сложности при этом возникают, плюсы, минусы, подводные камни и, конечно же, «в чем фишка». Итак, обо всем по порядку.

Асинхронная работа с Tarantool на Python - 1

Tarantool представляет собой Application Server для Lua. Он умеет хранить данные на диске, обеспечивает быстрый доступ к ним. Tarantool используется в задачах с большими потоками данных в единицу времени. Если говорить о цифрах, то это десятки и сотни тысяч операций в секунду. Например, в одном из моих проектов генерируется более 80 000 запросов в секунду (выборка, вставка, обновление, удаление), при этом нагрузка равномерно распределяется по 4 серверам с 12 инстансами Tarantool. Не все современные СУБД готовы работать с такими нагрузками. Кроме того, при таком количестве данных, очень дорого ожидание выполнения запроса, поэтому сами программы должны быстро переключаться от одной задачи к другой. Для эффективной и равномерной загрузки CPU сервера (всех его ядер) как раз нужен Tarantool и асинхронные приемы в программировании.
Читать полностью »

Привет! Я работаю интерном в Санкт-Петербургском центре разработок ЕМС и хочу дать студентам пару советов о построении будущей карьеры, а также рассказать про задачи, которыми занимаюсь в компании. В этом году за одно из своих решений я получил награду Bright Internship Award как лучший стажёр Центра, и мне интересно получить обратную связь по достигнутым результатам. Эта статья может быть интересна тем, кто занимается тестированием производительности систем.
Читать полностью »

Представим, что перед нами стоит классическая задача получить данные по какому-то ключу. Причем количество данных и их ключей заранее известно.

Как решать подобную задачу?Читать полностью »

Покупка компанией Lenovo части серверного подразделения IBM стала одной из самых громких новостей на IT-рынке за последнее время. Ну а для нас это и вовсе событие номер один в 2015 году. Как обещали ранее, спешим поделиться всей актуальной информацией – под катом находится FAQ с ответами на ваши вопросы.

Lenovo и IBM x86: чего ждать в ближайшее время? - 1

Бизнес IBM по производству серверов на архитектуре х86 – не первая крупная покупка Lenovo. Это часть нашей глобальной стратегии, которая очень прозрачна: мы последовательно добиваемся целей, укрепляя бренд и делая его всё более глобальным. Например, вспомним 2011 год, когда стояла задача повысить своё присутствие в западноевропейской рознице: тогда был куплен Medion. Понадобилось усилить направление смартфонов – мы заключили сделку с Motorola. Историю с той же IBM и ноутбуками ThinkPad все тоже, конечно же, знают.
Читать полностью »

Предыстория

Так сложилось, что уже пять лет мой раздел ntfs с операционной системой Windows располагается на рамдиске. Решено это не аппаратным, а чисто программным способом, доступным на любом ПК с достаточным количеством оперативной памяти: рамдиск создается средствами загрузчика grub4dos, а Windows распознаёт его при помощи драйвера firadisk.

Однако до недавнего времени мне не был известен способ, как реализовать подобное для Linux. Нет, безусловно, существует огромное количество линуксовых LiveCD, загружающихся в память при помощи опций ядра toram, copy2ram и т. д., однако это не совсем то. Во-первых, это сжатые файловые системы, обычно squashfs, поэтому любое чтение с них сопровождается накладными расходами на распаковку, что вредит производительности. Во-вторых, это достаточно сложная каскадная система монтирования (так как squashfs — рид-онли система, а для функционирования ОС нужна запись), а мне хотелось по возможности простого способа, которым можно «вот так взять и превратить» любой установленный на жесткий диск Linux в загружаемый целиком в RAM.

Ниже я опишу такой способ, который был с успехом опробован. Для опытов был взят самый заслуженный дистрибутив Linux — Debian.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js