- PVSM.RU - https://www.pvsm.ru -
Клиент сформулировал мне в HOSTKEY [1] задачу — на 1 (один) сервер с 12 ядрами и 64Гб памяти надо примерно 3-4Тб места под более-менее однотипные виртуалки, но что бы работало все как на SSD и при этом уложиться в 16000р в месяц. Стали думать, вариантов было несколько:
Сказано – сделано, примерно 3 рабочих дня и 4 вариант у нас на столе. Посмотрим, на что он способен — не на рекламных проспектах, а на практике.
1U Supermicro, 2xE5-2630 2,3GHz 12 ядер, 16Gb DDR3 ECC Reg LV х4=64Гб памяти (можно расширить до 256Гб при желании), LSI Nytro MegaRAID NMR8100-4i, 4x2Tb WDC RE 7200rpm HDD (WD2000FYYZ) SATA3. Все компоненты на 3-х летней гарантии.
Цена в месяц с размещением и 100М каналом – 16000р.
8xPCIe 3.0 (только Е5 и Е3), 4 порта SAS/SATA 6Gbps, два SSD SLC по 64Гб с резервированием 30% места, 1Гб кэша на DDR3, все возможные уровни RAID, поддержка экспандеров и можно поставить батарейку. Цена образца на момент августа 2013 года – 27000р, 3 года гарантии.
Кто хочет почитать полный обзор [2] — внимание, много букв на английском.
Посмотрим, на что способна наша Нитра. Смотреть будем под Виндой 2012 – наиболее наглядно. Сначала настроим в БИОС необходимые массивы и посмотрим настройки контроллера – все гибко настраивается самым традиционным образом. Внешний вид утилиты не менялся лет 15 наверно.
Отдельно настраивается RAID из пары встроенных SSD по 44Гб, отдельно логический том из остальных дисков. Можно сделать зеркало или страйп – выберем страйп, тем более что в документации явно написано, что если диск выйдет из строя, то система сама уберет его из дела. На логическом томе можно делать любой RAID – от 0 до 6. Все настраивается традиционно.
Загрузим Windows 2012 сервер, в комплекте с Нитрой идет флэшка с Megaraid Storage Manager – наконец-то. Ставим его, все видно из коробочки. Софт обычный, тоже не менялся лет 10. Все родное, на своих местах. Понятное поведение при авариях.
Очень важно, что теперь мы видим процент износа SSD и можем своевременно менять контроллер и принимать превентивные меры. На старых контроллерах если SSD был в массиве, то добиться от него SMART или еще чего-то было нереально.
Собираем том на 4Тб — RAID10 и не размечая его подергаем HD Tune Pro для проверки сухой производительности, без помощи ОС и ее кэшей.
Прогон по чтению на всю емкость диска дает ожидаемый результат – 200-250Мб в секунду, около 100 IOPS, 10мс. В кэше явно пусто – все идет с диска. Маловато для 10 RAID, должно быть погуще. Но у нас другая задача, виртуализация. Производительность по чтению обычно нивелируется кэшами ОС.
IOPS по случайным чтениям – ничего волшебного, все операции мимо SSD – все предсказуемо медленно, как и должно быть с пары дисков.
вот тут что надо, в среднем 266Мб/с и доступ 0,17мс. Нитра пишет в SSD и потом из него крупными блоками на диски. В начале забился 1Гб памяти контроллера, потом 3Тб системе хватало запасу по SSD и только последний 1 Тб писался уже прямиком на диски без кэша, диски не успевали.
Посмотрим что с записью – вот тут все шикарно. В одну очередь мы видим штатную производительность SSD – все записи идут через него, диски не участвуют.
Мы имеем 14000 IOPS на мелких блоках с типичным времени доступа 0,07 мс. Отлично! Если мы коммитим транзакции с базы – они будут проваливаться на диск моментально. Если виртуалка решила посвопиться или что-то отложить на диск – это не окажет влияния на дисковую подсистему.
Создаем теперь файловую систему и посмотрим, как ОС будет работать с файлами и в целом с размеченным местом. Все стандартные тесты по всему тому особо не отличаются от тестов блочного устройства. Зададим файлик на 10Гб и погоняем его.
Первый прогон, файл еще не в кэше. Первый гиг на запись проваливается через память на скоростях около 3Гб/с, потом замедляется до 1000Мб/с, после 50Гб видимо не влезает уже в SSD и начинает писать на диски на 250Мб/с.
Значения IOPS снимаются уже с SSD-кэша – в одну нить 4000 на чтение и 10000 на запись, отлично! В 32 нити – 52000 на чтение и 23000 на запись, видимо 32 нити перебор. Файлы размером 512Мб попадают в RAM кэш контроллера и раздаются оттуда уже со скоростью PCIe – 2,5Гб в секунду.
Повтор операции показывает наглядно, как раздается файл из пары SSD – ровная полка на 1000Мб в секунду — быстрее RAID0 на паре интегрированных SSD не разгоняется. На IOPS дело не влияет.
Попробуем загрузиться на свежем Центос и проверим, видна ли наша Нитра без бубна. Ответ верный, LSI себе верна – все видно сразу и без подсказок.
Потестим штатным бенчмарком, первый раз – унылая картинка, второй раз значительно веселее! Среднее чтение 426Мб/с с задержкой около 10мс, допустимо при тестах поверхности в 4Тб.
Пробуем как более ранние карты LSI увидят наш RAID10 – я взял 4 разных контроллера типа LSI 9260 и ОЕМ Intel – ни один не смог загрузить конфигурацию массива. Возможно 9266 и смогут ее прочитать, но таких под рукой не было. В целом надо про это помнить при формировании ЗИП.
В заключение могу сказать так – Nytro MegaRAID NMR 8100-4i [3]доступна для заказа в HOSTKEY [1]по цене 1500р в месяц к цене обычного 4-х портового RAID контроллера в Москве и +30 Евро к заказным серверам в Нидерландах. Это выгоднее и надежнее использования чистых SSD для построения файловых систем и надежнее чем строительство софтварных файлеров с кэшами в памяти.
Нитра отличное подспорье для крупных серверов баз данных и внутрекорпоративной вирутализации, когда можно или нужно обходиться без глобального СХД. 4-8 SAS/SATA дисков + Нитра = производительность SSD без SSD и надежность RAID.
На базе Нитры мы ускорим работу нашего кластера виртуализации в Голландии в самое ближайшее время и думаю, существенно повысим надежность и производительность, о чем я отпишусь дополнительно.
Автор — генеральный директор HOSTKEY [1]
Автор: ULP
Источник [4]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/zhelezo/40627
Ссылки в тексте:
[1] HOSTKEY: http://www.hostkey.ru
[2] полный обзор: http://thessdreview.com/our-reviews/lsi-nytro-megaraid-nmr-8120-4i-application-acceleration-card-review/
[3] Nytro MegaRAID NMR 8100-4i : http://www.lsi.com/products/storagecomponents/Pages/NytroMegaRAIDNMR8100-4i.aspx
[4] Источник: http://habrahabr.ru/post/189634/
Нажмите здесь для печати.