Интел усиливает позиции в HPC

10 лет назад присутствие Интела в HPC ограничивалось, в основном, мощными процессорами и набором математических библиотек.

Интересно посмотреть, какими еще продуктами для HPC Интел оброс за прошедшее время. Не менее интересно спрогнозировать, куда компания будет двигаться дальше. Ниже я изложу свое видение. Приглашаю всех дополнять его с помощью комментариев и опросничков внизу поста.

Все аспекты HPC я разделю на сегменты, а потом мы посмотрим, как Интел представлен в каждом из них. Это разделение условно и отражает только то, как я сам привык смотреть на HPC. Возможно, существуют и более удачные схемы.

Итак, HPC – это (буду использовать английские названия):

1. Compute
2. Storage
3. Interconnect
4. Development tools
5. Administrative tools
6. Services

На текущий момент мне неизвестно о сервисах, которые Интел продавал бы в HPC-секторе напрямую. Если вы что-то знаете об этом, добро пожаловать в комменты!

Во всех остальных сегментах Интел, как оказывается, очень неплохо представлен:

1. Compute:
   • мощные процессоры Xeon
   • (непонятно насколько мощные) ускорители Xeon Phi
2. Storage:
   • собственный дистрибутив параллельной файловой системы Intel Lustre
   • SSD-диски и флеш-карты (складывается ощущение, что использование в HPC-сегменте именно интеловских дисков ограничено).
     Буквально несколько дней назад поступили в продажу ^[1] первые карты на базе технологии 3D XPoint
3. Interconnect:
   • собственная фабрика Omni-Path
4. Development tools:
   • Intel Parallel Studio
   • либо по-отдельности: математические библиотеки, MPI-библиотека (основанная на библиотеке MPICH), компиляторы, профилировщики
5. Administrative tools:
   • Intel HPC Orchestrator (по сути, иначе упакованный OpenHPC)

Если я что-то упустил – прошу добавить в комментах.

Такие вещи, как HPC Orchestrator и Omni-Path, появились только в последние 1,5-2 года и позволили Интелу накрыть 2 дополнительных сегмента.

Интерес Интела к HPC легко понять. Сейчас бурно развивается множество вычислительно емких областей, вроде геномики или интернета вещей. В лабораториях по секвенированию человеческого генома могут генерироваться сотни гагабайт данных в час. То же самое можно сказать об обвешанных датчиками энергетических турбинах. И это не просто данные. Это данные, которые нужно «молотить» почти что в реальном времени. Причем на месте, там, где они генерируются. Ибо для отправки их на обработку в облако (например, от Amazon) требуются нереально толстые каналы и кошельки.

По прогнозам агентства IDC, каждый 4-ый сервер, проданный в 2018 году, будет продан в HPC.

Так что мотивация Интела вполне понятна. Но куда он будет двигаться дальше?

Здесь можно только догадываться. Как мне кажется, наиболее радикальные шаги Интел предпримет в сегментах Storage и Interconnect.

На текущий момент в HPC можно выделить два основных вкуса Storage: очень быстрый локальный (но небольшого объема) и основной (более медленный, зато большой). Первый принято называть Burst Buffer.

Подозреваю, что именно Burst Buffer будет представлять интерес для Интела в ближайшее время. И тут вполне могут выстрелить продукты на базе 3D XPoint. В частности, заявленная, но пока не вышедшая «память» Optane (которая не совсем память).

Однако само по себе железо в сегменте Storage не так интересно, как общая схема взаимодействия пользователей/приложений с ним. На текущий момент нельзя сказать, что концепция Burst Buffer в HPC четко очерчена. Пока что нет общего «стандартного» представления о том, что это такое. Каким образом связываются разные уровни иерархии систем хранения? Как HPC-приложения взаимодействуют с хранилищами данных? Как осуществляется интеграция с HPC-планировщиками задач?
Не факт, что на эти и подобные вопросы должен быть дан стандартный ответ. Но скорее всего, будет. И похоже, что у Интела есть свое видение этой проблемы. По крайней мере, в кулуарах прошедшей в конце прошлого года конференции Supercomputing’16 высказывались некоторые утечки/намеки на то, как Интел будет здесь действовать. Пока это только слухи. Поживем – увидим.

Тема хранения данных очень интересна. Однако думаю, что самые большие изменения нас ждут в сегменте Interconnect, которым Интел внезапно озаботился.

Многие эксперты ожидают, что высокоскоростные интерконнекты типа InfiniBand или Omni-Path, в итоге, вытеснят шину ввода-вывода. Сейчас шина выступает ненужным посредником между ними и устройствами, участвующими в обмене данными.

Для того чтобы убрать шину из цепочки передачи данных, потребуется прямая интеграция процессора и подсистемы памяти с фабрикой. Очень интересно посмотреть, как это будет сделано. И раз уж Интел начал играться с собственной фабрикой, то теперь ему прямая дорога к интеграции ее с процессором. Не говоря уже о том, что появляется свобода выбрать решение, которое вставит палки в колеса альтернативным фабрикам вроде InfiniBand.

Именно поэтому мне кажется, что Omni-Path не столько интересен как сиюминутная альтернатива InfiniBand, сколько как плацдарм для дальнейших изысканий Интела.

У меня, пожалуй, все. А что думаете вы по поводу Интела, HPC и «всего такого ^[2]»?

Автор: TechThink

Источник ^[3]