Настоящие российские коммутаторы, ИИ-ускорители и новые видеокарты от NVIDIA: новинки в мире железа за март

Если спросить у популярного GPT-бота, какое серверное железо появилось в марте 2024 года, — он расскажет о серверах на основе квантовых вычислений. А еще про сверхпроводящие интерференционные устройства и технологии ионных ловушек для хранения и обработки кубитов. Правда это или простая галлюцинация нейросети — оставим на обсуждение в комментариях. Но что точно настоящее, так это дайджест железа.

Привет! Меня зовут Сергей, я менеджер выделенных серверов в Selectel ^[1]. В этой статье расскажу о новинках в мире железа за прошедший месяц. В программе — новые видеокарты от NVIDIA, коммутаторы, диски и СХД. Подробности под катом!

Давно хотите арендовать сервер ^[2], но нет такой возможности? Пройдите квест и выиграйте до 15 000 бонусных рублей на услуги Selectel! Регистрируйтесь на сайте ^[3] и попробуйте себя в роли сыщика: найдите на страницах Selectel спрятанные ссылки и первыми дойдите до финала. Выиграйте эксклюзивный мерч и промокод на сервисы Selectel.

GPU и платформы

NVIDIA

Устройства на базе Blackwell. Источник ^[4].

NVIDIA анонсировала ^[5] линейку устройств на новой архитектуре Blackwell, среди которых — GPU NVIDIA B200. По сравнению с предыдущей архитектурой Hopper производитель отмечает 30-кратный рост производительности.

Устройства с умопомрачительными характеристиками могут заменить NVIDIA H100 и анонсированную, но так и не выпущенную H200. Два чиплета B200 суммарно имеют 208 млрд транзисторов, выполненных по техпроцессу TSMC 4NP. Они объединены интерконнектом NV-HBI с пропускной способностью 10 ТБ/с. А в роли памяти выступают восемь стеков HBM3e емкостью до 192 ГБ с пропускной способностью до 8 ТБ/с.

Благодаря этому в разреженных FP4-вычислениях производительность достигает 20 Пфлопс, а в FP8-вычислениях — 10 Пфлопс. Кроме того, в тензорных ядрах применено второе поколение механизма Transformer Engine, которое увеличивает скорость обучения с инференсом и максимальный объем модели в памяти ускорителя.

Естественно и то, что GPU B200 будут представлены не только в форм-факторе PCIe 6.0 (32 линии), но и в аналоге SXM с интерконнектом NVLink™ 5. По сравнению с NVLink™ 4 пропускная способность увеличили в два раза — до 1,8 ТБ/с (по 900 ГБ/с в каждую сторону). Для создания кластеров можно использовать коммутатор NVSwitch™ 7.2T, который способен объединить до 576 устройств в одном домене. Также с помощью коммутаторов 800G можно создать кластер вместимостью до 100 000 ускорителей.

NVIDIA B200. Источник ^[6].

В виде готовых устройств представлены следующие решения:

Источник ^[7].

Среди них есть базовые устройства:

• HGX B100 — плата с восемью ускорителями Blackwell с TDP до 700 Вт, объединенных NVLink™ 5;
• HGX B200 — плата с восемью ускорителями Blackwell с TDP до 700 Вт, объединенных NVLink™ 5.

Их можно использовать с воздушным охлаждением и объединять интерконнектом 400G.

Следующие решения основываются на базе серверов GB200, которые выглядят как замена GH100 (GH200). Здесь нас встречает знакомая схема: два ускорителя Blackwell (объединены NVLink™ 5) и ARM-процессор Grace. С ускорителями процессор связан шиной NVLink-C2C с пропускной способностью до 900 ГБ/с.

Для примера разберем представленное в таблице устройство GB200 NVL72. В нем — 72 ускорителя GB200 и 18 коммутаторов NVSwitch™ 7.2T, которые провязывают все ускорители по схеме «каждый-с-каждым».

Энергопотребление такого суперкомпьютера достигает 120 кВт. Охлаждение, естественно, жидкостное. Размер GB200 равен одной серверной стойке, производительность достигает до 1,44 Эфлопс в FP4-вычислениях и до 720 Пфлопс в FP8, а общий объем памяти — более 30 ТБ.

Полноценный запуск, подробные характеристики и совместимые решения от вендров ожидаются до конца 2024 года. Мировой спрос на такие устройства будет — это безусловно. А вот на счет потребности и возможности реализации таких систем в России есть сомнения.

ASRock Rack

Сервер 4U8G-EGS2. Источник ^[8].

ASRock Rack на конференции NVIDIA GTC 2024 представили ^[9] ряд серверов с GPU для задач искусственного интеллекта и высокопроизводительных вычислений.

Во-первых, есть серверы в форм-факторе 4U.

• 4U8G-EGS2 ^[10], 4U10G-EGS2 ^[11] для Intel® Xeon® Scalable 4 и 5 поколения с 32 слотами DDR5.
• 4U8G-GENOA2 ^[12] и 4U10G-GENOA2 ^[13] для AMD EPYC™ 9004 c 24 слотами DDR5.

Они могут оснащаться ускорителями NVIDIA H100 NVL и H200 NVL, а в будущем — NVIDIA Blackwell. Серверы с индексом 4U8G поддерживают восемь двухслотовых карт с интерфейсом PCIe 5.0 x16, решения 4U10G — соответственно, десять.

Во вторых, есть 6U-серверы на базе процессоров Intel® Xeon® Scalable 4 и 5 поколения.

• 6U8X-EGS2 NVIDIA H100 ^[14].
• 6U8X-EGS2 NVIDIA H200 ^[15].

На борту все те же 32 слота DDR5. Серверы предназначены для установки восьми GPU H100 или H200. По традиции: подобные устройства питают восемь блоков на 3 000 Вт.

В-третьих, вендор представил сервер 4UMGX на модульной архитектуре NVIDIA MGX, предназначенной для создания AI-систем на базе CPU, GPU и DPU. Устройство поддерживает восемь ускорителей NVIDIA H100 NVL или H200, а также новые GPU NVIDIA Blackwell. Однако подробные спецификации не были анонсированы.

Tenstorrent

Ускоритель Grayskull. Источник ^[16].

Компания Tenstorrent из Канады представила AI-ускорители ^[16] Grayskull™ e75 и e150 на базе одноименных процессоров Grayskull с архитектурой RISC-V. Ускорители предназначены для экспериментов, разработок в области искусственного интеллекта и отладки приложений.

Младшее устройство содержит 96 ядер в CPU с частотой 1 ГГц, старшее — 120 ядер с частотой 1,2 ГГц. В обоих устройствах доступно 120 МБ SRAM и 8 ГБ LPDDR4 с пропускной способностью до 118 Гбит/с в старшей версии.

Стоимость в Северной Америке составляет около 600 и 800 долларов за устройство. А для использования ускорителей были представлены инструменты TT-Buda и TT-Metalium.

• TT-Buda — высокоуровневый стек, предназначенный для компиляции и запуска AI-моделей.
• TT-Metalium — низкоуровневая программная платформа, обеспечивающая прямой доступ к аппаратным ресурсам.

Заявлена поддержка PyTorch, ONNX, BERT, ResNet, Whisper, YOLOv5 и U-Net. Производители отмечают простоту программирования по сравнению с GPU. Также были анонсированы сетевые устройства Wormhole n150 и Wormhole n300 с возможностью объединения плат для масштабирования.

Устройства на RISC-V многое значат для развития альтернативных архитектур процессоров. Так, у нас уже есть опыт с ARM-процессорами ^[17], которые в ряде задач превосходят ^[18] x86.

Zotac

Сервер с GPU. Источник ^[19].

Компания Zotac представила ^[19] серверы с GPU в форматах rack-mount и workstation tower. Платформы работают с процессорами Intel® Xeon® Scalable четвертого и пятого поколений.

Сервер с GPU. Источник ^[19].

Стоечное решение в формате 4U поддерживает установку до десяти GPU, на фото также видны 12 корзин для дисков с поддержкой горячей замены. 8U-решение предназначено для 12 DPU PCI-e. Блоки питания реализованы по схеме «2+2» или «4+1». К сожалению, производитель не приводит подробные характеристики.

Серверы предназначены для задач искусственного интеллекта и высокопроизводительных вычислений. Также в линейке производителя уже есть серверы с GPU для аналогов от AMD — серверной линейки процессоров AMD EPYC™ 9004.

Мы в Selectel также предоставляем серверы с восемью GPU ^[20] на борту, но предпочитаем более привычные решения от Supermicro и Asus.

RAM

Micron

Оперативная память MCR DIMM. Источник ^[21].

Компания Micron анонсировала ^[21] NVIDIA GTC 2024 — новые модули оперативной памяти (MCR DIMM) емкостью 256 ГБ для серверов следующего поколения, например Intel® Xeon® Granite Rapids. Устройства соответствуют стандарту DDR5-8800 и уже находятся на тестах клиентов Micron.

Продемонстрированные модули имеют нестандартно «высокий» типоразмер, однако производитель обещает и совместимые с 1U-серверами. Энергопотребление ожидаемо выше, чем у планок RDIMM, и составляет 20 Вт. Максимальный объем памяти сервера, оснащенного такой памятью, может составлять 6 ТБ.

Напомню, что на сегодня максимальный объем планки — 128 ГБ. Такие устройства можно выбрать у нас при заказе сервера произвольной конфигурации ^[22].

СХД

Аэродиск

СХД ENGINE AQ. Источник ^[23].

Продолжаю традиционную ежемесячную серию новостей ^[24] о российских системах хранения данных. В программе — СХД серии ENGINE AQ ^[23] от российской компании «Аэродиск».

Серия включает СХД среднего класса Engine AQ 440, 450 и 460, которые основаны на платформах Aquarius FS440, FS450 и FS46 соответственно. Все оснащены процессорами Intel® Xeon® и имеют 256 ГБ оперативной памяти в базовой конфигурации. СХД выполнены в форм-факторе 2U+2U, 4U и 6U. Общая емкость может достигать 608 дисков с учетом установки в модули расширения.

Устройства предназначены для решения различных задач, включая виртуализацию, базы данных, видеонаблюдение и корпоративные приложения с высокой нагрузкой. Ожидается также модель начального уровня «Лайт» для малого и среднего бизнеса.

Диски

Western Digital

Диск WD Red Pro NAS. Источник ^[25].

Редкий дайджест обходится без новостей ^[26] о HDD на 24 ТБ. В марте Western Digital стартовала поставки дисков WD Red Pro ^[25]. Они выполнены по технологии OptiNAND на основе встроенной флеш-памяти iNAND в формате LFF с использованием CMR, традиционной магнитной записи. Диск оптимизирован для работы в составе объемных NAS корпоративного уровня с различными RAID-массивами.

Основные характеристики

• Скорость передачи данных — 287 МБ/с.
• Скорость вращения шпинделя — 7200 об/мин.
• MTBF (среднее время наработки на отказ) — 2,5 млн часов.

В наших серверах произвольной конфигурации ^[27] мы предлагаем клиентам 22 ТБ HDD и 16 ТБ U.2 SSD NVMe, но присматриваемся и к 24 ТБ моделям HDD. Одной из основных характеристик при выборе максимального объема дисков остается стоимость 1 ТБ пространства.

Коммутаторы

Yadro

Коммутаторы KORNFELD. Источник ^[28].

Российская компания Yadro представила коммутаторы KORNFELD. Они производятся на заводе в Дубне и по праву считаются отечественным оборудованием.

Устройство выполнено в форм-факторе 1U для дата-центров. На борту — процессор Intel® Xeon® D-1712TR Ice Lake с четырьмя ядрами, восемью потоками и базовой частотой 2,0 Ггц. Коммутатор использует ASIC-чип с пакетным буфером в 32 МБ, а также оснащен M.2-диском на 120 ГБ и двумя модулями оперативной памяти DDR4 по 8 ГБ.

Для подключения используются 48 портов 10/25GbE SFP28 и восемь портов 25/40/100GbE QSFP28. Также на коммутаторе размещены разъемы RJ-45, два коннектора SFP+ 1/10GbE и порт USB Type-A. За питание отвечают два блока по 800 Вт с резервированием и горячей заменой.

Коммутатор поддерживает протоколы OSPF, BGP, ECMP, VRRP, MLAG, TACACS+, RADIUS, сети VLAN (802.1Q), агрегацию LACP, а также LLDP.

Заключение

Март выдался довольно средним по количеству новостей, но объемным по стоимости представленных устройств. В дайджест не попали новости о таких новинках, как Supermicro SuperCluster ^[29] или суперкомпьютер HPE ^[29]. На мой взгляд, подобные системы в России имеют точечный спрос, а также сложности с поставками.

Продолжаю следить за более прикладными и доступными устройствами. Увидимся в мае!