Раскурочивание на части особо выносливого железа линейки bullion S, где 768 Гб оперативы

Отрываем от передней части Ultra capacitor module — штуковина предназначена для работы блоков питания в режиме Active/Passive, а также для гарантированного переключения без просадок питания на резервный БП. Оказывается, его также можно использовать для защиты серверной от потенциального противника, быстро переделывая в мощный электрошокер. И знаете что? С ним пускают в самолёт, когда говоришь «да этот сервер стоит как квартира напротив Кремля!»

Оглядываясь, во что бы ещё воткнуть лом, мы заинтересовались серверным оборудованием Bull и решили взять на тестирование один из серверов. Вообще, есть линейка продуктов Bull компании Atos. Bullion S — это высокопроизводительные сервера с морем памяти на борту на базе серверов x86-архитектуры. Всё, что нужно считать внутри оперативной памяти, — это их епархия. Заявленная фишка — высокая отказоустойчивость в сочетании с мощностью и относительной дешевизной.

В общем, нам достался один такой. Первое удивление было в том, что грузится он 15 минут (вендор говорит: в полной выкладке до получаса), тестирует 768 Гб оперативы. Загрузился — мы начали дёргать всё, что только могли. Ага, прямо на ходу. Железка вела себя достойно. По всем I/O пережил нормально, просто переходили пути, а диски оставались доступными с некоторой задержкой. При выдёргивании других кусков иногда делались короткие ребилды (производительность падала), потом всё восстанавливалось. Восстановилась — мы продолжали откручивать детали дальше. Кстати, если оторвать вот этот капасити-модуль с фото или блок питания, сервер это тоже переживёт без происшествий.

Единственный момент — если вынимать из него во время нагрузки плашки памяти «на горячую» руками, он уйдёт в перезагрузку при определённых условиях (о них ниже расскажу).

Знакомство с сервером bullion S

Итак, мы поставили перед собой задачу проверить эти утверждения, познакомиться и всячески помучить предоставленное оборудование. На 2 недели нам выделили сервер bullion S4, по сути это две x86 ноды, объединённые в один высокопроизводительный сервер. Сервер приехал в качестве готового стенда в 20U-стойке с коммутатором Cisco 2960, консолью с KVM-переключателем и PDU.

Конфигурация и особенности

Особенность сервера — это предустановленная из коробки ОС VMWare ESXi.То есть по сути это уже готовое решение: достал из коробки сервер, подключил и разворачивай виртуалки. По необходимости версию ESXi можно обновлять.

Конфиг сервера представлен в табличке:

Все компоненты сервера зарезервированы, как у любого сервера в хорошей комплектации.

Каждая нода bullion S — это сервер с двумя сокетами, 48 слотами памяти, в максимуме сервер масшабируется до 8 таких нод, что позволяет получить жирный 24U сервер с 16 сокетами, 24Tb памяти и 56 8xPCI-e слотами. Плюс возможен Node Partitioning.

ОС грузится с ведущей ноды, с двух дисков в RAID1. Сервер имеет модульную структуру, все I/O карточки, memory cards, не говоря уже о БП и вентиляторах, устроены так, что могут быть извлечены на горячую из передней или задней части каждой ноды.

Масштабируемость bullion — это его фишка. Для связи процессоров между нодами используется eXtended Quick Path Interconnect, который разработан Bull и работает в 2 раза быстрее и уменьшает среднее запаздывание между локальной и удалённой памятью процессора по сравнению с Intel QPI. Физически это встроенный когерентный коммутатор Bull (сокращенно BCS).

Архитектура прорисована ниже.

S4

S8

S16

Избыточная звезда. Отличает bullion от KunLun и SDX

Мониторинг и управление

Сервер имеет довольно странную внешнюю индикацию, которая немного смущает, но таков дизайн.

На самом деле оранжевая лампочка говорит о том, что UCM (ultra capacitor module) заряжен.

Состояние сервера и его компонентов можно мониторить через Server Hardware Console.

Вендор говорит, что для мониторинга большого количества серверов существует инструмент iCare (Bull insight care).

Также есть возможность интеграции с vRealize. Для управления также существует мощный CLI «BSMHW_NG_140» — устанавливается отдельно, может работать вместе с BPM (Bull Platform Manager).

Тестирование

Включили сервер. Инициализация при перезагрузке или включении проходит 15–20 минут, в основном из-за чека памяти: чем её больше, тем дольше. Процесс загрузки можно мониторить, подключившись, к примеру, с помощью Putty (terminal) к SHC, там детально отображается процесс инициализации контроллеров, проверки памяти и т. д.

Сделали пару виртуалок, сервер обеими нодами подключили к нашей entry level СХД DS3500 и начали дергать модули. Тут у нас вот лезвие с памятью. Вынимается? Вынимается!

Перезагрузку словили при установке памяти обратно, хотя заявлено, что сервер поддерживает hot plug memory, мелким шрифтом (или в скобочках) добавляют, что только определенные ОС.

«Смотри, ещё деталька. Сейчас вытащу, снимай:»

Интересно, а электрошокер получится? Получится!

После этого в мануале прочитали, что так делать нельзя, опасно — нужно сначала разрядить!

Пока дергали I/O карточки — луны остались живы, перекидывая пути.

Хотели понять, может ли он в однонодовой конфиге — дернули целую ноду. Отключился весь сервер (ну, обратного вендор не заявлял, но вдруг) . В этом плане софтварный кластер предпочтительнее хардварного.

Коллега говорит: дай MSM (Management Switch Module) ближе сфотографирую. Не вопрос, держи, дружище:

Сервер остался жив. С помощью программки Perfomance test провели несколько тестов производительности, на маленькой виртуалке и виртуалке с максимальными ресурсами. Хотя учитывая, что это виртуальные машины, особого смысла в этом не вижу, основное предназначение сервера — это Oracle, SAP HANA, виртуализация. Данные тестов — в конце.

Была мысль снести гипервизор и поставить что-то другое, но вендор очень просил этого не делать. Скорее всего, потому что машина ходит «по рукам» на тестах. В общем, зоопарк приехал, мы поиграли, зоопарк уехал дальше гастролировать.

Согласно опубликованным на www.spec.org ^[1] материалам, bullion является самым мощным корпоративным сервером x86. Bullion всё ещё предлагает до 16 процессоров (по сравнению с восемью у так называемых «непосредственных» моделей — архитектура, в которой до 8 процессоров связаны друг с другом без дополнительного коммутатора), то есть до 384 ядер на одном сервере.

Результаты наших тестов

CPU Test 1/1

MemTest 1/1

CPU Test 2

Mem Test 2

Впечатления

Вполне себе обычный хардварный двухнодовый кластер, Bull не первый, кто по QPI объединил x86 сервера, это делал и IBM, и HPE.Хотя такой мощи там. Конечно. не было, здесь можно расти: S4-S6-S8-S10. ОС может быть любой: Linux, Windows, VMware… Хотя тут, на мой взгляд, шасси с блейд-серверами и vMotion надёжнее, чем все виртуалки в одной коробке (но тут надо брать в расчёт стоимость лицензий посокетно).

Зачем он такой красивый нужен

Основной сценарий использования серверов — платформа для in-memory-вычислений. Как самый распространённый пример таких вычислений — решение SAP HANA. Сервер также может использоваться под БД Oracle, SQL Server, виртуализацию, неплохой вариант для перехода с P-серии и мейнфреймов. Прайс-лист в РФ для некоторых аппаратных конфигураций сертифицированных для SAP HANA:

Это, конечно, street price, по нему почти никто никогда не покупает. Но если вы знаете, сколько обычно вычитать, представление даёт.

Ссылки

• Документация ^[2], там есть образ диска, а в нём внутри PDF с документацией
• Видео ^[3] о Bull в России
• Видео с демонстрацией bullion S ^[4]
• Видео с демонстрацией sequana ^[5]
• Как мы обычно тестируем железо ^[6]
• Прошлый тест ^[7] серверов с двумя независимыми путями вычисления каждого процессорного такта
• Моя почта — krahimov@croc.ru

Автор: Kirill_Rahimov

Источник ^[8]