Рубрика «высокая производительность» - 121

Сравнение производительности Hadoop на DAS и Isilon - 1

Я уже писал о том, с помощью Isilon можно создавать озёра данных, способные одновременно обслуживать по несколько кластеров с разными версиями Hadoop. В той публикации я упомянул, что во многих случаях системы на Isilon работают быстрее, чем традиционные кластеры, использующие DAS-хранилища. Позднее это подтвердили и в IDC, прогнав на соответствующих кластерах различные Hadoop-бенчмарки. И на этот раз я хочу рассмотреть причины более высокой производительности Isilon-кластеров, а также как она меняется в зависимости от распределения данных и балансировки внутри кластеров.
Читать полностью »

Серверный шкаф с интеллектуальным активным шумоподавлением - 1 Не секрет, что серверное оборудование, как правило, устанавливается в стойку/шкаф, которые, в свою очередь, размещаются в специально выделенном месте.
Система охлаждения серверного оборудования проектируется исходя из требований к эффективности отвода тепла из корпуса, а такой параметр как уровень шума в расчет не берётся. Поэтому установка серверного шкафа или стойки вблизи с рабочими местами сотрудников исключена.
В основном, оборудование размещают в удалённых дата-центрах, локальных серверных или любом другом помещении предприятия, которое должно быть изолировано от рабочего пространства офиса и обеспечивать необходимый внутренний температурный режим.
В больших и средних организациях проблем с выделением помещения под серверную комнату не возникает. Да и в маленьких офисах можно встретить серверную «кладовку» размером два на полтора метра.
Но что делать, если IT-инфраструктура включает существенное кол-во стоечного оборудования, а места для серверной, по каким-либо причинам, не предусмотрено? Как решить вопрос размещения серверного шкафа в офисном помещении без ущерба для комфорта рабочего процесса сотрудников компании? Или же стоит задача демонстрации на выставочных мероприятиях стоечного оборудования или комплексных инфраструктурных решений. При установке классического шкафа/стойки, комфортно вести переговоры вблизи подобного стенда не получится.
Для решения подобных задач разработан уникальный серверный шкаф Silentium AcoustiRACK ACTIVE, который позволяет обеспечить отвод до 8 кВт тепла, минимизируя при этом шум, издаваемый установленным в нём оборудованием. Решение не ново, но все же я хочу посвятить ему эту статью, т.к. шкаф уже есть в лаборатории STSS и я проверил его способности на реальных задачах.
Секрет заключён не только в конструкции шкафа: стеклопакет в передней двери, шумоизоляция всех стенок, заглушек и задней двери безусловно снижают звукопроводимость. Но в шкафу должны быть отверстия для беспрепятственного прохода воздушного потока, обеспечивающего эффективное охлаждение оборудования. Как быть с подавлением шума, выходящего через них?
Для этих задач разработаны уникальные вентиляторные блоки, оснащённые интеллектуальной акустической системой активного шумоподавления.
Принцип работы заключается в анализе через встроенный микрофон общего шума оборудования и собственных вентиляторов, и формировании противофазного акустического сигнала, который компенсирует этот шум.
Читать полностью »

Введение
Понимание, каким образом программная переменная принимает значение физического сигнала и как значение программной величины превращается в конкретный сигнал, может помочь разработчикам программного обеспечения систем управления при расчете задержек, решении задач оптимизации, обеспечении устойчивости, разработке интерфейсов и подключении к процессорам и контроллерам периферии: датчиков, исполнительных механизмов, и др.
В этой работе рассматриваются вопросы, связанные с прямым и обратным преобразованием “программная переменная – сигнал”: особенности построения каналов передачи данных, подключения периферии к шинам процессора, вопросы адресной приёма-передачи данных и работа гипотетического процессора при обмене данными с внешним устройством.

Формирование канала передачи данных
Рассмотрим канал передачи данных, который имеет всего два состояния, например, наличие или отсутствие напряжения. Передатчик должен устанавливать напряжении в линии в соответствии с передаваемыми данными, а приемник по измеряемому напряжению выделять данные линии. Простейший передатчик включает источник напряжения и идеальный ключ, который изменением собственного сопротивления (ноль или бесконечность) замыкает или размыкает провода. В качестве идеального приемника используется измеритель напряжения (мультиметр) с бесконечным входным сопротивлением.
image
Рис. 1. Схема с неопределенным напряжением в линии передачи. В реальной схеме функцию ключа может выполнять транзистор.

В схеме Рис. 1 при замыкании ключа приёмнику передается 5В источника, однако, когда ключ разомкнут на входе приемника находится неопределенное напряжение.
Этой неопределенности нет в схеме Рис. 2, которая имеет два устойчивых состояния 5В или 0В. Сопротивление R добавлено в схему передатчика для ограничения тока через замкнутый ключ. Переходный процесс в линии пропорционален произведению ёмкости линии на выходное сопротивление передатчика, которое отличается при установлении и сбросе напряжения в линии. При установке напряжения в линии происходит заряд ёмкости через сопротивление R. Во время сброса напряжения ёмкость разряжается через сопротивление замкнутого ключа.
image
Рис. 2. Передача двух состояний 5В и 0В. Тождественные схемы. Постоянная времени (R*C) перехода из 0В в 5В (заряда емкости) больше постоянной разряда линии через идеальный ключ с нулевым сопротивлением.
Читать полностью »

Перспективы языка го для программиста - 1

Статья написана по мотивам одного не очень приятного разговора на последнем IT global митапе в Питере.
Читать полностью »

О ресторанном столе UHD-разрешения и прочих интерактивных технологиях от Kodisoft - 1
Можно ли придумать что-то принципиально новое в обустройстве ресторана? Только действительно в корне новое, а не то, что приходит в голову в первую минуту. Еще усложним задачу: новация должна вызывать восторг у посетителей и быть экономически обоснованной. Если вы считаете эту задачу безнадежно нерешаемой, предлагаем ознакомиться с опытом украинской компании Kodisoft, разработавшей интерактивную ресторанную инфраструктуру нового поколения, включающую уникальный стол-планшет разрешения 4k.
О проекте от первого лица рассказывает его основатель Дмитрий Костик.
Читать полностью »

Конкурс GraphHPC-2016 на самую быструю реализацию параллельного алгоритма Community Detection: Итоги - 1
В рамках конференции GraphHPC-2016, прошедшей 3 марта 2016 года в МГУ им. М.В. Ломоносова на факультете ВМК, проводился конкурс на самую быструю реализацию задачи Community Detection — поиска сообществ в неориентированном графе с весами.Читать полностью »

В США создан суперкомпьютер на основе чипа TrueNorth с энергопотреблением в 2.5 Вт - 1

Ливерморская национальная лаборатория (LLNL) на днях объявила о создании суперкомпьютера, принцип действия которого похож на работу мозга человека (в той мере, в какой ученые понимают основы функционирования этого органа). Система построена на основе чипа TrueNorth, имитирующего сеть из 16 миллионов нейронов с примерно 4 млрд синапсов. Конечно, до мозга человека такому компьютеру еще далеко (ведь у человека миллиарды нейронов), но эта модель все равно одна из самых мощных среди всех «мозгоподобных» ПК, когда-либо созданных человеком. Система умеет распознавать образы и решать различные вопросы так, как это делают люди.

В компьютере, созданном Ливерморской национальной лабораторией, установлено 16 TrueNorth чипов. Система получила название IBM Neuromorphic System. Использовать ее будут для изучения новых возможностей вычислительных систем, которые могут оказаться полезными Национальной администрации по ядерной безопасности. Специалисты проведут ряд тестов, которые покажут способности машины в отношении изучения окружающего мира, использования глубокого анализа и самообучения. Сама Лаборатория является «главной научно-исследовательской и опытно-конструкторской организацией для решения проблем национальной безопасности». Она отвечает за «безопасность и надёжность» ядерного оружия США, применяя в его разработках достижения современной науки и техники. Также Лаборатория занимается исследованиями в области наук, не связанных с оборонной деятельностью, таких как энергетика, экология и биология (в том числе биоинженерия).
Читать полностью »

Пролог

Доброго времени суток! После опубликовании статьи о визуализации квадратичного дерева(Quad-tree), меня попросили написать статью, показывающую работу шейдера, переводящего изображение в «кофту».

Так что, давай рассмотрим данную методику.
Читать полностью »

Пролог

Доброго времени суток! Однажды ко мне на работу пришёл друг, и я ему показал свой свеженаписанный шейдер, на тот момент это была первый серьёзный опыт с ними. Данная микропрограмма преобразовывала изображение с камеры в изображение вязаной кофты.


Читать полностью »

Введение

В Badoo несколько десятков «самописных» демонов. Большинство из них написаны на Си, остался один на С++ и пять или шесть на Go. Они работают примерно на сотне серверов в четырех дата-центрах.

В Badoo проверка работоспособности и обнаружение проблем с демонами лежат на плечах отдела мониторинга. Коллеги с помощью Zabbix и скриптов проверяют, запущен ли сервис, отвечает ли он на запросы, а также следят за версиями. Кроме того, в отделе анализируется статистика демонов и скриптов, работающих с ними, на предмет аномалий, резких скачков и т.п.

Сбор и анализ логов демонов в Badoo - 1

Однако у нас до недавнего времени не было очень важной части — сбора и анализа логов, которые каждый демон пишет локально в файлы на сервере. Зачастую именно эта информация помогает на самом раннем этапе поймать проблему или постфактум понять причины отказа.

Мы построили такую систему и спешим поделиться подробностями. Наверняка у кого-то из вас будет стоять похожая задача, и прочтение данной статьи убережет от ошибок, которые мы успели совершить.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js