Тестирование флеш СХД. IBM FlashSystem 840

В прошлом году писали о тестировании IBM RamSan FlashSystem 820 ^[1]. Н а этот раз, благодаря одному крупному заказчику, в наши руки попала IBM FlashSystem 840. ^[2] Системе около года от роду, «детские болезни» уже позади т.е. самое время оценить её профессиональные возможности.

Методика тестирования

В ходе тестирования решались следующие задачи:

• исследования процесса деградации производительности СХД при длительной нагрузке на запись (Write Cliff) и влияния заполненности СХД;
• исследование производительности СХД IBM FlashSystem840 при различных профилях нагрузки;

Конфигурация тестового стенда

Для проведения тестирования, на объекте Заказчика, последовательно собирались 2 разных стенда.
Для тестов групп 1 и 2 нагрузка генерируется одним сервером, и стенд имеет вид, отображенный на рисунке:

Рисунок 1. Структурная схема тестового стенда 1.

Сервер: IBM 3850X5, подключенного напрямую восемью соединениями 8Gb FC к .СХД IBM FlashSystem 840

Для тестов группы 3 к описанному стенду добавляется сервер IBM 3650M4, так же подключенный напрямую к СХД IBM Flash System 840. На данном этапе, каждый сервер соединяется с СХД посредством четырех оптических линков.

Рисунок 2. Структурная схема тестового стенда 2.

В качестве дополнительного программного обеспечения на тестовый сервер установлен Symantec Storage Foundation 6.1, реализующий:

• Функционал логического менеджера томов (Veritas Volume Manager);
• Функционал отказоустойчивого подключения к дисковым массивам (Dynamic Multi Pathing)

Программа тестирования.

Тесты выполняются посредством создания синтетической нагрузки программой fio на блоковое устройство (block device), представляющее собой логический том типа stripe, 8 column, stripe unit size=1MiB, созданный с использованием Veritas Volume Manager из 8-ми LUN, презентованных с тестируемой системы.
Тестирование состояло из 3-х групп тестов:

Результаты тестирования

Группа 1: Тесты, реализующие длительную нагрузку типа random write с изменением размера блока операций ввода/вывода (в/в).

Заключения:
1. При длительной нагрузке на запись в определенный момент времени фиксируется значительная деградация производительности СХД (Рисунок 3). Падение производительности ожидаемо и является особенностью работы SSD (write cliff), связанной с включением процессов garbage collection (GC) и ограниченной производительностью этих процессов. Производительность дискового массива, фиксируемую после эффекта write cliff (после падения производительности), можно рассматривать как максимальную среднюю производительность дискового массива.

Рисунок 3. Изменение скорости операций в/в (iops), скорости передачи данных (bandwidth) и задержек (Latency) при длительной записи блоком 4K.

2. Размер блока при длительной нагрузке на запись влияет на производительность процесса GC. Так при маленьких блоках (4К) скорость работы GC — 640Мбайт/c, на средних и больших блоках (16К-1М) CG работает на скорости порядка 1200Mбайт/s.

3. Разница в значениях максимального времени работы СХД на пиковой производительности, фиксируемой при первом длительном тесте и последующем эквивалентном тесте с блоком 4К обусловлена тем, что СХД не было до конца заполнено перед началом тестирования.

4. Максимальное время работы СХД на пиковой производительности значимо отличается при блоке 4K и всех остальных блоках, что с большой вероятностью вызвано ограничением места СХД, резервируемом для выполнения процессов GC.

5. Для выполнения служебных процессов на СХД резервируется около 2Тбайт.

6. При тестах на СХД заполненном на 70%, падение производительности наступает незначительно позже (примерно на 10%). Изменений скорости работы процессов GC не зафиксировано.

Графики и таблицы. (Все картинки кликабельны)

Графики производительности блочного устройства при разных типах нагрузки, генерируемой одним сервером.

	Скорость передачи данных (bandwidth)	Скорость в/в (IOPS)	Задержка (Latency)
Полностью размеченная СХД (100% formated)
Не полностью размеченная СХД (70% formated)

Таблица 1 Зависимость показателей СХД от размера блока при длительной нагрузке на запись.

Группа 2: Тесты производительности дискового массива при разных типах нагрузки, генерируемой одним сервером, исполняемые на уровне блокового устройства.

Основные результаты тестов представленных на графиках сведены в таблицы.

Таблицы и графики. (Все картинки кликабельны)

Таблица 2 Производительность СХД при одном процессе, генерирующем нагрузку (jobs=1)

Таблица 3 Максимальная производительность СХД при задержках меньше 1мс

Таблица 4. Максимальная производительность СХД при задержках до 3мс

Таблица 5 Максимальная производительность СХД при различном профиле нагрузки.

Графики производительности блочного устройства при разных типах нагрузки, генерируемой двумя серверами.
(Все картинки кликабельны)

	Синхронным способом в/в	Асинхронным способом в/в с глубиной очереди 32	Асинхронным способом в/в с глубиной очереди 64
При случайном чтении	[3]	[4]	[5]
При случайной записи	[6]	[7]	[8]
При смешанной нагрузке (70% чтение, 30% запись)	[9]	[10]	[11]

Заключения:

1. Максимально зафиксированные параметры производительности для СХД (из средних за время выполнения каждого теста — 3 мин):

Запись:

• 415000 IOPS при latency 4,9ms (блок 4KB async qd64)
• при синхронном в/в — 263000 IOPS при latency 0,2ms (блок 4К)
• Bandwidth: 3600МБ/c для больших блоков

Чтение:

• 475000 IOPS при latency 4,3ms и 440000 IOPS при latency 2,3 (блок 8KB async qd64);
• при синхронном в/в — 225000 IOPS при latency 0,26ms (блок 4К)
• Bandwidth: 6290МБ/с для больших блоков

Смешанная нагрузка (70/30 rw)

• 475000 IOPS при latency 4,3ms (блок 4KB async qd64);
• при синхронном в/в — 220000 IOPS при latency 0,27ms (блок 4К)
• Bandwidth 5135МБ/с для больших блоков.

Минимально зафиксированная latency:

• При записи – 0,177ms для блока 4K jobs=32 sync
• При чтении — 0,25ms для блока 4K jobs=32 sync

2. СХД входит в режим насыщения при

• асинхронном способе в/в при 8 jobs на больших блоках (32К-1М) и при 16 jobs на маленьких и средних блоках (4-16К).
• синхронном способе в/в при 64 jobs.

3. На операциях чтения большими блоками (16К-1М) получена пропускная способность более 6 Гбайт/с, что примерно соответствует суммарной пропускной способности интерфейсов, используемых при подключении сервера к СХД. Таким образом, ни контроллеры СХД, ни флэш-накопители, не являются «узким местом» системы.

4. Массив при асинхронном способе в/в выдает в 1,5 — 2 раза большую производительность на маленьких блоках (4-8К), чем при синхронном способе в/в. На больших и средних блоках (16К-1М) производительность при синхронном и асинхронном в/в примерно равна.

5. На приведенных ниже графиках отображена зависимость максимальных полученных показателей производительности тестируемой СХД (IOPS и скорости передачи данных) от размера блока операций в/в. Характер графиков позволяет сделать следующие выводы:

• при записи наиболее эффективным блоком для работы с СХД является блок 8К.
• при чтении синхронным способом в/в выгоднее работать блоком 16К и 32К
• при чтении асинхронным способом в/в лучший блок — 16К.

Максимальные показатели производительности при чтении и записи синхронным способом в/в различным размером блока.

Максимальные показатели производительности при чтении и записи асинхронным способом в/в (qd32) различным размером блока.

Группа 3: Тесты производительности дискового массива при разных типах нагрузки, генерируемой двумя серверами, исполняемые на уровне блокового устройства.

По каждому из тестов была получена производительность, совпадающая в пределах погрешности 5% с результатами тестов группы 2, когда нагрузка генерировалась одним сервером. Мы не стали приводить графики и данные о производительности по тестам группы 3, в следствии их идентичности результатам 2-й группы.
Иными словами, исследование показало, что сервер не является «узким местом» тестового стенда.

Выводы

В целом, система показала великолепные результаты. Нам не удалось выявить очевидных «узких мест» и явных проблем. Все результаты стабильны и прогнозируемы. Сравнивая с нашим предыдущим тестированием IBM FlashSystem 820 стоит отметить отличия интерфейсов управления. 820-я модель управляется, порой вызывающим неудобства, java апплетом, доставшимся в наследство от RamSan 820 производства Texas Instruments. В то время, как 840-я имеет уже привычный для продуктов IBM web-интерфейс напоминающий XIV Storage System и Storwize. Работать с ними заметно приятнее и, в конечном счете, быстрее.
Кроме этого, IBM FlashSystem 840 обзавелся необходимыми для устройств enterprise класса возможностями горячей замены всех компонентов и обновления микрокода «на лету». Существенно расширился выбор возможных интерфейсов подключения и конфигураций флэш-модулей.

К недостаткам, пожалуй, можно отнести наличие деградации производительности при длительной записи. Хотя, это скорее недостаток сегодняшних технологий флэш-памяти, проявляющийся в следствие того, что производитель не стал искусственно ограничивать скорость работы системы. Даже при длительной максимальной нагрузке на запись и после падения производительности, СХД показывала замечательные результаты.

P.S. Автор выражает сердечную благодарность Павлу Катасонову, Юрию Ракитину и всем другим сотрудникам компании участвовавшим в подготовке данного материала.

Автор: MrCleaner

Источник ^[12]