Метка «HPC»

Уважаемые читатели, абитуриенты-бакалавры, их родители, братья и сёстры!

Хочу сообщить вам о перспективных магистрских программах на нашей кафедре по направлению подготовки 010400 «Прикладные математика и информатика»! Подробности — под катом.

Читать полностью »

Dell HPC приходит на помощь ученым
О британских ученых, которые подарили миру не один десяток открытий разной степени сомнительности, мы неоднократно слышали. Но обсуждая очередное из них, мы редко задумываемся, как вообще совершаются открытия и что нужно для того, чтобы они состоялись. Оставим в стороне научную базу, опыт и подготовку ученых (это все тема для отдельного материала), а сконцентрируемся на технологической составляющей их работы. Логично предположить, что в современных университетах расчеты производятся на мощной современной технике, опыты проводятся на новейшем лабораторном оборудовании, иначе привнести в науку что-то новое в наши дни будет практически невозможно.Читать полностью »

29 мая этого года компания Fujitsu представила специальный пакет программного обеспечения для вычислительных кластеров Fujitsu HPC Cluster Suite (HCS). Данный пакет предназначен для управления кластерами на основе серверов Fujitsu PRIMERGY стандартной архитектуры x86 и представляет собой набор полностью проверенных высокопроизводительных программных компонентов. Изначально данный продукт разрабатывался для суперкомпьютера Института физико-химических исследований (RIKEN) K computer, который два сезона держал первенство и в настоящий момент находится на третьем месте в списке TOP500 с производительностью превышающей 10 PFLOPS, что само по себе уже говорит о потенциале и возможностях представленного решения. Теперь с выпуском пакета HCS накопленные знания и опыт переносятся на классическую архитектуру x86 и становятся доступны практически любой компании.Читать полностью »

25 апреля в Санкт-Петербурге, при поддержке портала Айти-Событие.рф, состоится High Performance Conference #4 — конференция по высоким нагрузкам.

HPC. Программа, онлайн трансляция и бесплатные билеты
Цель конференции — дать возможность профессионального роста в различных сферах проектирования, разработки, тестирования, администрирования и поддержки высоконагруженных систем её участникам.
Читать полностью »

Блейд-сервера RLX Technologies

Комментарии к некоторым постам хабра заставили задуматься, есть ли понимание у народа о серверах высокой плотности и их возможностях. Целью написания данного поста является внесение определенности по этому вопросу. Также планируется, что этот пост станет первым в череде статей на тему HPC (high performance computing, высокопроизводительные вычисления).

Сервера высокой плотности наиболее востребованы в технологиях построения суперкомпьютеров кластерного типа, систем виртуализации и организации облаков, систем параллельного доступа к системам хранения, систем аналитических расчётов, поисковых системах и др. Их применение обусловлено, прежде всего, невозможностью выполнить все предъявляемые требования, используя иные технологии. Рассмотрим варианты решений, их плюсы и минусы.Читать полностью »

Определение высоконагруженных систем и способов их построения

      Нагрузка на сервер — это важный показатель использования серверного оборудования. Хит – это запрос клиента к серверу для получения информации. Нагрузка сервера определяется как отношение количества клиентских запросов (хитов) ко времени, выражается в хитах в секунду. Согласно исследованиям Microsoft в 2010 году высоконагруженным сервером можно считать сервер с нагрузкой 100-150 хитов в секунду.
      В литературе встречаются такие понятия как HPC-система, высоконагруженная система, высоконагруженный кластер, Highload-система, суперкомпьютер, которые порой используются как синонимы. Мы будем понимать сайт с нагрузкой не менее 150 хитов в секунду.
      Кластер – это группа компьютеров, которые работают вместе и составляют единый унифицированный вычислительный ресурс. Каждый узел работает под управлением своей копии операционной системы, в качестве которой чаще всего используются Linux и BSD.
      Чтобы понять каким образом задачи, выполняемые кластером, распределяются по его узлам необходимо дать определение масштабироемости. Масштабируемость — способность системы справляться с увеличением рабочей нагрузки (увеличивать свою производительность) при добавлении ресурсов. Система называется масштабируемой, если она способна увеличивать производительность пропорционально дополнительным ресурсам. Масштабируемость можно оценить через отношение прироста производительности системы к приросту используемых ресурсов. Чем ближе это отношение к единице, тем лучше. Также под масштабируемостью понимается возможность наращивания дополнительных ресурсов без структурных изменений центрального узла системы. Масштабирование архитектуры высоконагруженной системы может быть горизонтальным и вертикальным. Вертикальное масштабирование заключается в увеличении производительности системы за счёт увеличения мощности сервера. Главный недостаток вертикального масштабирования в том, что оно ограничено определённым пределом. Параметры железа нельзя увеличивать бесконечно. Однако на самом деле вертикальная компонента присутствует практически всегда, а универсального горизонтального масштабирования как такового не существует. Горизонтальное масштабирование заключается в увеличении производительности системы за счёт подключения дополнительных серверов. Именно горизонтальное масштабирование является сейчас фактически стандартом. Известен также такой термин, как диагональное масштабирование. Оно подразумевает одновременное использование двух подходов.
      И наконец, необходимо определить основной принцип, использующийся при построении любой кластерной архитектуры. Это — трёхзвенная структура системы (рис. 1). Три звена – это фронтэнд, бэкэнд и хранилище данных. Каждое звено выполняет свои функции, отвечает за различные стадии в обработке запросов и по-разному масштабируется. Первоначально запрос приходит на фронтэнд. Фронтэнды отвечают, как правило, за отдачу статических файлов, первичную обработку запроса и передачу его дальше. Второе звено, куда приходит запрос, уже предварительно обработанный фронтэндом — это бэкэнд. Бэкэнд занимается вычислениями. На стороне бэкэнда, как правило, реализуется бизнес-логика проекта. Следующий слой, который вступает в дело обработки запроса – это хранилище данных, которые обрабатываются бэкэндом. Это может быть база данных или файловая система.Трёхзвенная структура кластерной архитектурыЧитать полностью »

NUMизматика, NUMерология и просто о NUMANUMA (Non-Uniform Memory Access — «Неравномерный доступ к памяти» или Non-Uniform Memory Architecture — «Архитектура с неравномерной памятью») — технология совсем не новая. Я бы даже сказала, что совсем старая. То есть, в терминах музыкальных инструментов, это уже даже не баян, а, скорее, варган.
Но, несмотря на это, толковых статей, объясняющих, что это, а главное, как с этим эффективно работать, нет. Данный пост, исправляющий эту ситуацию, предназначен прежде всего для тех, кто ничего не знает про NUMA, но также содержит кое-что интересное и для знатоков-NUMизматов, а главное, он облегчает жизнь мне, инженеру Intel, так как отныне всех интересующихся NUMA русскоязычных разработчиков буду отсылать к нему.
Читать полностью »

Дорогие хабрачитатели, мы готовы представить вам видеозаписи всех докладов с конференции по высоким нагрузкам HPC, которая состоялась 9 августа в Москве.

Видеозаписи докладов с HPC

Прямо сегодня (или в любое удобное для вас время) в программе:
Сергей Аверин XEK, Badoo (участвовал в создании таких проектов как Хабр, dirty, leprosorium, autokadabra, dribbler, trendclub и др.);
Юрий Насретдинов, Badoo;
Андрей Сумин AndrewSumin, Mail.ru Group (ранее Яндекс, HeadHunter);
Константин Осипов, Mail.Ru Group ( ранее Oracle, Sun, MySQL, Ringrows, Spylog, Interpro);
Даниил Павлючков, ITmozg.ru.

Читать полностью »

6 октября в Москве состоится крупнейший IT-фестиваль BitByte, который объединит IT-специалистов различного возраста, профессий и уровней профессионального развития.
Во время фестиваля гости смогут посетить выступления спикеров, на стендах компаний пообщаться с техническими Гуру и с HR-специалистами, а также отдохнуть в лаундж-зоне.

image

Выступления спикеров

Эксперты будут выступать в трех секциях:

High Performance — сецкия — посвящена высоконагруженным системам. Подробно мы писали ранее на Хабре.

Upgrade-секция — спикеры расскажут научат, например, грамотному делегированию и управлению командой. Тут же можно узнать, как стать эффективным руководителем и кому, а, главное, за что, на самом деле, больше всех платят в IT.

Студенческая секция — студенты узнают о том, как выбрать востребованную и интересную профессию, как найти работу без опыта работы.
Читать полностью »

Первый блин далеко не всегда комом. Организованная нами в августе конференция по высоким нагрузкам HPC прошла на ура, поэтому мы продолжаем проводить подобные мероприятия.
А что вы знаете о высоких нагрузках: часть вторая

6 октября в рамках IT-фестиваля профессионального развития BitByte будет проведена HPC-конференция.
Читать полностью »