LSI Nytro MegaRAID NMR8100-4i в деле

в 23:34, , рубрики: hostkey, LSI, raid, ssd caching, Блог компании HOSTKEY, виртуализация, выделенный сервер, высокая производительность, Железо, хостинг, метки: , , , , , ,

Клиент сформулировал мне в HOSTKEY задачу — на 1 (один) сервер с 12 ядрами и 64Гб памяти надо примерно 3-4Тб места под более-менее однотипные виртуалки, но что бы работало все как на SSD и при этом уложиться в 16000р в месяц. Стали думать, вариантов было несколько:

  • делаем все на SSD. берем 6 дисков по 500Гб типа Samsung 840 Pro eMLC, собираем их в страйп или еще как хитро, добавляем пару дисков по 3Тб для бакапа и… не проходим в бюджет. 2U сервер, 8 портовый RAID контроллер и диски по 12000р за штуку не пропускают.
  • Делаем все на жестких дисках, берем 12x300Gb SAS 15K и опять не проходим ни в бюджет, ни в производительность.
  • Используем RAID контроллер с внешним SSD кэшем – LSI CacheCade или Adaptec MaxCache. Идея получше, но нам надо 4 диска по 2Тб в RAID10 – придется брать 8 портовый контроллер и к нему SSD на 120Гб eMLC или SLC. Что бы к SSD был доступ, опять надо брать 2U корпус. Контроллер 8 портов + SSD стоит около 37000р, в бюджет не проходим.
  • Используем новую LSI Nytro MegaRAID NMR8100-4i. Берем 1U систему, ставим в нее контроллер, ставим в нее 4 диска по 2Тб в RAID10 и вписываемся и в производительность и в бюджет. Нитра стоит 27000р, на ней уже стоят 2 диска по 44Гб, причем SLC!

Сказано – сделано, примерно 3 рабочих дня и 4 вариант у нас на столе. Посмотрим, на что он способен — не на рекламных проспектах, а на практике.
LSI Nytro MegaRAID NMR8100 4i в деле

Машина в сборе:

1U Supermicro, 2xE5-2630 2,3GHz 12 ядер, 16Gb DDR3 ECC Reg LV х4=64Гб памяти (можно расширить до 256Гб при желании), LSI Nytro MegaRAID NMR8100-4i, 4x2Tb WDC RE 7200rpm HDD (WD2000FYYZ) SATA3. Все компоненты на 3-х летней гарантии.
Цена в месяц с размещением и 100М каналом – 16000р.

LSI Nytro MegaRAID NMR8100 4i в деле

Спецификация нашей Нитры:

8xPCIe 3.0 (только Е5 и Е3), 4 порта SAS/SATA 6Gbps, два SSD SLC по 64Гб с резервированием 30% места, 1Гб кэша на DDR3, все возможные уровни RAID, поддержка экспандеров и можно поставить батарейку. Цена образца на момент августа 2013 года – 27000р, 3 года гарантии.
Кто хочет почитать полный обзор — внимание, много букв на английском.

Тесты

Посмотрим, на что способна наша Нитра. Смотреть будем под Виндой 2012 – наиболее наглядно. Сначала настроим в БИОС необходимые массивы и посмотрим настройки контроллера – все гибко настраивается самым традиционным образом. Внешний вид утилиты не менялся лет 15 наверно.

LSI Nytro MegaRAID NMR8100 4i в деле

RAID

Отдельно настраивается RAID из пары встроенных SSD по 44Гб, отдельно логический том из остальных дисков. Можно сделать зеркало или страйп – выберем страйп, тем более что в документации явно написано, что если диск выйдет из строя, то система сама уберет его из дела. На логическом томе можно делать любой RAID – от 0 до 6. Все настраивается традиционно.

LSI Nytro MegaRAID NMR8100 4i в деле

Готовый сетап

LSI Nytro MegaRAID NMR8100 4i в деле

Загрузим Windows 2012 сервер, в комплекте с Нитрой идет флэшка с Megaraid Storage Manager – наконец-то. Ставим его, все видно из коробочки. Софт обычный, тоже не менялся лет 10. Все родное, на своих местах. Понятное поведение при авариях.

LSI Nytro MegaRAID NMR8100 4i в деле

Очень важно, что теперь мы видим процент износа SSD и можем своевременно менять контроллер и принимать превентивные меры. На старых контроллерах если SSD был в массиве, то добиться от него SMART или еще чего-то было нереально.

LSI Nytro MegaRAID NMR8100 4i в деле

Прогон блочного устройства

Собираем том на 4Тб — RAID10 и не размечая его подергаем HD Tune Pro для проверки сухой производительности, без помощи ОС и ее кэшей.

Чтение:

LSI Nytro MegaRAID NMR8100 4i в деле

LSI Nytro MegaRAID NMR8100 4i в деле

Прогон по чтению на всю емкость диска дает ожидаемый результат – 200-250Мб в секунду, около 100 IOPS, 10мс. В кэше явно пусто – все идет с диска. Маловато для 10 RAID, должно быть погуще. Но у нас другая задача, виртуализация. Производительность по чтению обычно нивелируется кэшами ОС.

LSI Nytro MegaRAID NMR8100 4i в деле
IOPS по случайным чтениям – ничего волшебного, все операции мимо SSD – все предсказуемо медленно, как и должно быть с пары дисков.

Запись:

LSI Nytro MegaRAID NMR8100 4i в деле

LSI Nytro MegaRAID NMR8100 4i в деле

вот тут что надо, в среднем 266Мб/с и доступ 0,17мс. Нитра пишет в SSD и потом из него крупными блоками на диски. В начале забился 1Гб памяти контроллера, потом 3Тб системе хватало запасу по SSD и только последний 1 Тб писался уже прямиком на диски без кэша, диски не успевали.

Посмотрим что с записью – вот тут все шикарно. В одну очередь мы видим штатную производительность SSD – все записи идут через него, диски не участвуют.

LSI Nytro MegaRAID NMR8100 4i в деле

Мы имеем 14000 IOPS на мелких блоках с типичным времени доступа 0,07 мс. Отлично! Если мы коммитим транзакции с базы – они будут проваливаться на диск моментально. Если виртуалка решила посвопиться или что-то отложить на диск – это не окажет влияния на дисковую подсистему.

Прогон с файловой системой

Создаем теперь файловую систему и посмотрим, как ОС будет работать с файлами и в целом с размеченным местом. Все стандартные тесты по всему тому особо не отличаются от тестов блочного устройства. Зададим файлик на 10Гб и погоняем его.

Первый прогон, файл еще не в кэше. Первый гиг на запись проваливается через память на скоростях около 3Гб/с, потом замедляется до 1000Мб/с, после 50Гб видимо не влезает уже в SSD и начинает писать на диски на 250Мб/с.

LSI Nytro MegaRAID NMR8100 4i в деле

Значения IOPS снимаются уже с SSD-кэша – в одну нить 4000 на чтение и 10000 на запись, отлично! В 32 нити – 52000 на чтение и 23000 на запись, видимо 32 нити перебор. Файлы размером 512Мб попадают в RAM кэш контроллера и раздаются оттуда уже со скоростью PCIe – 2,5Гб в секунду.

LSI Nytro MegaRAID NMR8100 4i в деле

Повтор операции показывает наглядно, как раздается файл из пары SSD – ровная полка на 1000Мб в секунду — быстрее RAID0 на паре интегрированных SSD не разгоняется. На IOPS дело не влияет.

Linux

Попробуем загрузиться на свежем Центос и проверим, видна ли наша Нитра без бубна. Ответ верный, LSI себе верна – все видно сразу и без подсказок.

LSI Nytro MegaRAID NMR8100 4i в деле

Потестим штатным бенчмарком, первый раз – унылая картинка, второй раз значительно веселее! Среднее чтение 426Мб/с с задержкой около 10мс, допустимо при тестах поверхности в 4Тб.

LSI Nytro MegaRAID NMR8100 4i в деле

Пробуем как более ранние карты LSI увидят наш RAID10 – я взял 4 разных контроллера типа LSI 9260 и ОЕМ Intel – ни один не смог загрузить конфигурацию массива. Возможно 9266 и смогут ее прочитать, но таких под рукой не было. В целом надо про это помнить при формировании ЗИП.

Для чего надо использовать Нитру?

  • Для виртуализации: в дисках ВМ не так много движущихся фрагментов. Статистика по нашим ВПС-нодам облака показывает на каждую операцию чтения приходится 2-3 операции записи, долетающих до дисковой подсистемы. За сутки перезаписывается 10% используемого места и перечитывается от силы 5-6% от общей емкости. Свои метрики померять элементарно – запустите iostat на сутки и все про себя узнаете.
  • Для баз данных: Если база данных не влезла целиком в память, Нитра будет спасением. Все важное с индексами будет на SSD и в памяти, все неважное из объемных справочников будет на диске. Все транзакции на запись будут на месте моментально, лочится будет нечему.

Для чего точно не надо использовать:

  • крупные медиа-архивы, сайты с видео, стриминг, бакапы и резервные хранилища. Выгоды не будет – кэш не отработает или будет слишком слаб. Для веб-сайтов тоже особого смысла нет – все особо важное прекрасно помещается в память и раздается оттуда, а не важное на блочном уровне не будет кэшировано.
  • Под файловые системы типа ZFS и прочие, которые хотят видеть сами диски. Кэш не поймет логику работы файловой системы и будет пропадать.
  • Под видео-наблюдение, нелинейный монтаж – длинные линейные чтения и записи это не про Нитру.

Итого

В заключение могу сказать так – Nytro MegaRAID NMR 8100-4i доступна для заказа в HOSTKEY по цене 1500р в месяц к цене обычного 4-х портового RAID контроллера в Москве и +30 Евро к заказным серверам в Нидерландах. Это выгоднее и надежнее использования чистых SSD для построения файловых систем и надежнее чем строительство софтварных файлеров с кэшами в памяти.

Нитра отличное подспорье для крупных серверов баз данных и внутрекорпоративной вирутализации, когда можно или нужно обходиться без глобального СХД. 4-8 SAS/SATA дисков + Нитра = производительность SSD без SSD и надежность RAID.

На базе Нитры мы ускорим работу нашего кластера виртуализации в Голландии в самое ближайшее время и думаю, существенно повысим надежность и производительность, о чем я отпишусь дополнительно.

Автор — генеральный директор HOSTKEY

Автор: ULP

Источник

Поделиться

* - обязательные к заполнению поля