- PVSM.RU - https://www.pvsm.ru -

Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере

Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере - 1

Были времена, когда накопители на основе флэш-памяти стоили настолько дорого, что как накопители их даже никто и не рассматривал. Десятки тысяч долларов. Они позиционировались как нечто революционное, способное придать космическую скорость системам хранения данных. Прямо как Intel Optane в последнее время, но о нём пока не будем, пока ещё слишком дорог.

Наверное, тогда маркетологи и придумали такое название как Flash Accelerator (флеш-акселератор или флеш-ускоритель).

Хитрость в том, что устройства изначально позиционировавшиеся как ускорители, сейчас трудно продать как SSD, поэтому иногда их можно купить очень выгодно.

Мотивация.

  • Хотелось ли вам за разумные деньги купить SSD размером в несколько терабайт?
  • Чтобы ресурс был на десятки петабайт?
  • Такой, что что бы вы не делали, вы бы не смогли его исчерпать?
  • При этом с защитой по питанию и сделанный из самых качественных деталей и самой стойкой памяти?

В этой статье мы рассмотрим флэш-акселераторы на шине PCI-E от 800GB (не вижу смысла рассматривать меньшие ёмкости), которые можно купить сейчас на разных барахолках по цене обычных SSD или меньше и использовать в обычных компьютерах или серверах, получив при этом корпоративную качество, защиту по питанию (у всех моделей есть массивные конденсаторы) и ресурс.

Семейства флэш-ускорителей.

1. PCI-E карты, видимые в системе как обычные SAS-жёсткие диски.

Это семейство началось с устройств LSI Nytro Warp Drive. Поскольку драйвера для рейд-контроллеров LSI есть почти во всех ОС, то LSI не стал мудрствовать и сделал своё устройство видимым как обычный жёсткий диск, точнее как набор дисков, подключенных к HBA-контроллеру.

Плюсы:

  1. драйвера везде есть. Можно и сейчас запросто поставить Windows 10 на него
  2. копеечная цена: от $50 за версию с 800ГБ

Минусы:

  1. протокол SAS неидеальный для NVMe устройств и несколько режет максимальную скорость.

Обзор модели на 800GB на TweakTown [1].
Обзор модели на 400GB на StorageReview [2].

Внешний вид:

Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере - 2

Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере - 3

Это были, фактически, самые первые флэш-акселераторы, поэтому скорости у них были по сегодняшним меркам низковаты. Хотя, конечно, в любом случае быстрее, чем SATA III SSD. Однако ресурс был заявлен колоссальный — до 90 Петабайт у модели на 3.2TB!

Устройство определяется как 4 диска, которые можно использовать отдельно или собрать из них программный RAID 0/10/5/6 c помощью средств ОС, LVM или файловой системы.

Показатели скорости отдельного модуля и RAID 0

Одиночный модуль:

Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере - 4

Windows Raid 0 (disk management)

Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере - 5

Документация:

Руководство пользователя Sun Flash Accelerator F80 [3]

Видеообзоры на английском:

Sun Oracle F80 (брендированный LSI Nytro Warpdrive) [4]
LSI WarpDrive/Sun F40 (обзор и скорость) [5]

Развитием LSI Nytro Warpdrive стала модель Seagate Nytro XP6302:

Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере - 6

Описание акселератора Seagate Nytro XP6302 [6].

А потом модель Seagate Nytro XP6500:

Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере - 7

Описание акселератора Seagate Nytro XP6500 [7].

Есть ещё хитрые модели: LSI Nytro MegaRAID 8120-4i 1TB и 8240-8e8i 1.6T, которые умеют сами собирать хардварный RAID 0 и RAID 1 массивы из встроеных SSD и кешировать подключенные HDD. Данных по ресурсу найти не удалось. Только то, что память eMLC.

Внешний вид и описание серии LSI Nytro MegaRAID

2. PCI-E карты, видимые только при наличии специфичных драйверов

Это, в первую очередь, SanDisk Fusion ioDisk и ioMemory, которые разрабатывались под руководством Стива Возняка. В этих картах полностью отказались от имитации обычного диска и создали свой слой абстракции блочного устройства VSL. Эти карты выпускались до 2017 года.

Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере - 10

Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере - 11

Плюсы:

  1. карты до сих пор удивляют своей производительностью на операциях случайной записи;
  2. с ростом производительности процессоров растёт производительность карт, так как все алгоритмы обслуживающие карту, вынесены в драйвер;
  3. до сих пор Western Digital (SanDisk) публикует свежие версии драйверов и прошивок для небрендированных версий. Последняя версия прошивки 4.3.6 и драйверов была в октябре 2019.

Минусы:

  1. не может быть загрузочной (в теории может под UEFI, но в сети нет инструкций как это сделать);
  2. для функционирования нужны драйвера;
  3. потребляет оперативную память хоста для таблицы трансляции и внутренних алгоритмов.

Тестирование скорости Fusion PX600 1.3TB и Fusion SX350 3.2TB

Fusion PX600 1.3TB PCI-E 2.0 x8 Fusion SX350 3.2TB PCI-E 2.0 x8
Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере - 12 Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере - 13

К этому же классу принадлежат продукты HGST Virident FlashMAX II и III. С ними всё сложнее. Чтобы достать драйвера придётся пройти квест [9]. Скорее всего они уже несколько лет не обновляются. Не рекомендую к покупке, но в таблице есть. Если кто-пройдёт квест с драйверами, то добавлю информацию в статью.

Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере - 14

3. PCI-E карты, поддерживающие спецификацию NVMe

Такие диски не нуждаются в драйверах и могут быть загрузочными, если у вас биос поддерживает UEFI 2.3.1 и выше (стандарт от 2011 года).

Это Oracle F160 (на базе Intel P3605), F320 (на базе Samsung PM1725) и F640 (на базе Samsung PM1725b).

Плюсы:

  1. драйвера есть везде

Минусы:

  1. цена на вторичном рынке может быть выше, так как технология самая современная из рассмотренных

Тестирование скорости Oracle F160 и Oracle F320

Oracle F160 1.6TB PCI-E 3.0 x4 Oracle F320 3.2TB PCI-E 3.0 x8
Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере - 15 Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере - 16

Сравнительная таблица флэш-ускорителей.

В скобках будут даны результаты тестов, если они сильно отличаются от заявленных в спецификации.

Эмуляция SAS-диска
Название TB PBW PCI-E 4k read iops, K 4k write iops, K read, MB/s write, MB/s
LSI Nytro WarpDrive BLP4-800 [10] 0.8 22 2.0 x8 218 (95) 75 (30) 2099 1254
LSI Nytro WarpDrive BLP4-1600 [10] 1.6 45 2.0 x8 218 (95) 75 (30) 2099 1254
LSI Nytro WarpDrive BLP4-3200 [10] 3.2 90 2.0 x8 218 (95) 75 (30) 2099 1254
Sun Oracle F80 800GB [11] 0.8 22 2.0 x8 155 133 2099 1254
Seagate Nytro XP6302 [6] 1.3 6.6 3.0 x8 296 148 4000 2300
Seagate Nytro XP6302 [6] 1.75 8.8 3.0 x8 296 148 4000 2300
Seagate Nytro XP6302 [6] 3.5 11.7 3.0 x8 296 148 4000 2300
Seagate Nytro XP6500 [7] 1.5 (1.3) 8 3.0 x8 300 100 4000 1500
Seagate Nytro XP6500 4TB [7] 4 (3.4) 20 3.0 x8 275 (8K) 75 (8K) 4000 2200
Fusion-io ioDrive II DUO MLC [12] 2.4 32.5 2.0 x8 480 490 3000 2500
Нужны специальные драйверы
Название TB PBW PCI-E 4k read iops, K 4k write iops, K read, MB/s write, MB/s
SANDISK FUSION IOMEMORY SX350-1300 [13] 1.3 4 2.0 x8 225 345 2800 1300
SANDISK FUSION IOMEMORY PX600-1300 [14] 1.3 16 2.0 x8 235 375 2700 1700
SANDISK FUSION IOMEMORY SX350-1600 [13] 1.6 5.5 2.0 x8 270 375 2800 1700
SanDisk Fusion ioMemory SX300-3200 [15] 3.2 11 2.0 x8 345 385 2700 2200
SanDisk Fusion ioMemory SX350-3200 [13] 3.2 11 2.0 x8 345 385 2800 2200
SANDISK FUSION IOMEMORY PX600 [14] 2.6 32 2.0 x8 350 385 2700 2200
HGST Virident FlashMAX II [16] 2.2 33 2.0 x8 350 103 2700 1000
HGST Virident SSD FlashMAX II [17] 4.8 10.1 2.0 x8 269 51 2600 900
HGST Virident FlashMAX III [17] 2.2 7.1 2.0 x8 531 59 2700 1400
Стандартный NVMe-интерфейс
Название TB PBW PCI-E 4k read iops, K 4k write iops, K read, MB/s write, MB/s
Oracle F160 [18] 1.6 14 3.0 x4 440 70 2500 1500
Oracle F320 [19] 3.2 29 3.0 x8 1000 130 5600 1800
Oracle F640 [20] 6.4 34.7 3.0 x8 1379 428 6500 3100

Охлаждение

Для охлаждения карт серии Nytro требуется приличный поток воздуха — 200 кубических футов3/минуту = 5.66 м3, в десктопном корпусе нужны будут дополнительные вентиляторы. Температура троттлинга 73℃.

Возможно, акселераторы Seagate Nytro также потребуют дополнительное питание (заявлено 39 ватт, что выше стандартных 25 ватт на PCI-E x8).

Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере - 17

Карты SanDisk Fusion в обычном десктопном корпусе быстро перегреваются, поэтому рекомендую ставить на них 4-см кулер.

На картинке Evercool EC4010H12C 12V 0.08А. Пробовал также Noctua NF-A4x10 FLX 12V 0.05A: справляется, но на грани. Так что на 0.08A лучше.

Вообще-то SanDisk Fusion тоже умеют брать энергии больше, чем 25 ватт. Это нужно для максимальной скорости устройства. На хороших оверклокерских матерях с этим проблем нет, но вот на дешевых — не факт. В принципе, любой слот в который потенциально можно воткнуть видеокарту x16, как правило, обеспечивает 75 ватт, так что смотрите документацию к материнской плате.

Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере - 18

Флэш-акселераторы Oracle F320 и F640 тоже прилично греются, но температура не доходит до 70 градусов, после которой начинается троттлинг. Они оборудованы массивным радиатором, так что охлаждение не обязательно. 55℃ — их нормальная температура.

Однако я хотел бы, чтобы в корпусе было попрохладнее и обнаружил, что для их охлаждения прекрасно подходят (после минимальной доработки напильником) кулера ASUS Optional Fan для чипсетов. С таким кулером температура становится около 44℃ в закрытом корпусе. Этих кулеров есть 2 версии: на 0.08A и на 0.15A. Справляются обе, но я себе поставил помощнее.

Внешний вид акселератора Oracle F320 с кулером ASUS показан на самой первой фотографии в статье.

Сложности выбора

Скорее всего, если денег совсем мало, то выбрать можно LSI Nytro (Oracle F80). Если варианты от $50. Напомню, что полная ёмкость достижима только при создании программного RAID 0 средствами Windows, LVM, ZFS, BTRFS и подобными.

Если нужна очень быстрая случайная запись, стоит 8ГБ RAM и более, то можно поиграться с детищем Стива Возняка, Sandisk Fusion. Лучше брать накопители именно от SanDisk, а не брендированные, так как под них сложнее достать современные драйверы. Нужно помнить, что эти диски не могут быть загрузочными.

Таблица наихудшего потребления памяти в зависимости от размера сектора и размера диска.

Как правило, лучше всего оставить сектор равным 4К. Но VMvare становится только на девайсы с cектором 512 байт, поэтому для этих целей диски Fusion не оптимальны. Слишком много RAM будут потреблять.

Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере - 19

Если денег хватает на покупку обычного некорпоративного PCI-E SSD от 2TB и выше, то стоит рассмотреть акселераторы Oracle F160, F320 и F640. Вы получите больше ёмкости и в разы больший ресурс за те же деньги.

Абсолютно для всех акселераторов (кроме Oracle F160) нужно 8 линий шины PCI-E. Посмотрите руководство к своей материнской плате, о том к какому слоту сколько электрических линий PCI-E подведено.

При покупке берём либо новый товар, либо «Open box», либо с опубликованным в описании товара оставшимся ресурсом.

Где и как купить

Используйте Авито и известные зарубежные торговые площадки (возможно, потребуется помощь почтовых посредников). Если нужного товара нет в наличии, подпишитесь на результаты поиска и эти сайты вас оповестят, когда товар появится.

Всем удачных покупок!

P.S. Замеченные ошибки направляйте в личку. Повышаю за это карму.

Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК-сервере - 20 [21]

Автор: Сергей Ю. Каменев

Источник [22]


Сайт-источник PVSM.RU: https://www.pvsm.ru

Путь до страницы источника: https://www.pvsm.ru/staroe-zhelezo/338552

Ссылки в тексте:

[1] Обзор модели на 800GB на TweakTown: https://www.tweaktown.com/reviews/5054/lsi_nytro_warpdrive_800gb_blp4_800_pcie_enterprise_ssd_review/index.html

[2] Обзор модели на 400GB на StorageReview: https://www.storagereview.com/node/3425

[3] Руководство пользователя Sun Flash Accelerator F80: https://docs.oracle.com/cd/E41278_01/pdf/E41251.pdf

[4] Sun Oracle F80 (брендированный LSI Nytro Warpdrive): https://www.youtube.com/watch?v=CzvOierooXY

[5] LSI WarpDrive/Sun F40 (обзор и скорость): https://www.youtube.com/watch?v=Jw7EMX9WMhc

[6] Описание акселератора Seagate Nytro XP6302: https://www.seagate.com/www-content/product-content/lsi-fam/nytro-xp6300-accelerator-card/en-us/docs/nytro-xp6302-flash-accel-card-ds1832-3-1504us.pdf

[7] Описание акселератора Seagate Nytro XP6500: https://www.seagate.com/files/www-content/product-content/lsi-fam/nytro-xp6500/ds1851-1-1507us-nytro-xp6500.pdf

[8] Описание серии LSI Nytro MegaRAID: https://www.starline.de/fileadmin/images/produkte/lsi/LSI-Nytro-MR/LSI-Nytro-MegaRAID-datasheet.pdf

[9] пройти квест: https://forums.servethehome.com/index.php?threads/hgst-550gb-virident-flashmax-ii-650-obo.5103/

[10] LSI Nytro WarpDrive BLP4-800: https://www.starline.de/fileadmin/images/produkte/lsi/LSI-Nytro-WarpDrive/LSI-Nytro-WarpDrive-datasheet.pdf

[11] Sun Oracle F80 800GB: https://www.aamratechnologies.com/wp-content/uploads/2014/09/Sun-Flash-Accelerator-F80-PCIe-Card.pdf

[12] Fusion-io ioDrive II DUO MLC: https://www.storagereview.com/fusionio_iodrive2_duo_mlc_application_accelerator_review

[13] SANDISK FUSION IOMEMORY SX350-1300: https://www.sandisk.com/content/dam/sandisk-main/en_us/assets/resources/enterprise/data-sheets/fusion-iomemory-sx350-pcie-application-accelerators-datasheet.pdf

[14] SANDISK FUSION IOMEMORY PX600-1300: https://www.storagereview.com/fusion_iomemory_px600_review

[15] SanDisk Fusion ioMemory SX300-3200: https://www.storagereview.com/fusion_iomemory_sx300_review

[16] HGST Virident FlashMAX II: https://www.storagereview.com/virident_flashmax_ii_mlc_application_accelerator_review_22tb

[17] HGST Virident SSD FlashMAX II: https://documents.westerndigital.com//content/dam/doc-library/en_us/assets/public/western-digital/product/hgst/general-docs/data-sheet-flashmax-pcie.pdf

[18] Oracle F160: https://docs.oracle.com/cd/E54943_01/html/E54947/gokdw.html

[19] Oracle F320: https://docs.oracle.com/cd/E65386_01/html/E65387/gokdw.html#scrolltoc

[20] Oracle F640: https://docs.oracle.com/cd/E87231_01/html/E87233/gokdw.html#scrolltoc

[21] Image: https://ruvds.com/ru-rub/#order

[22] Источник: https://habr.com/ru/post/477856/?utm_source=habrahabr&utm_medium=rss&utm_campaign=477856