Революция флэш-памяти… Она продолжается уже пять лет. Причем все только начинается. Столь радикальных изменений в технологиях хранения, какие происходят сегодня, еще не было. Практически все ведущие вендоры СХД за последние годы представили собственные системы хранения класса AFA (All-Flash Array), целиком построенные на флэш-памяти. Твердотельные накопители широко применяются и в серверах среднего и старшего класса, значительно повышая производительность систем благодаря низким задержкам и высокому быстродействию твердотельных накопителей SSD (Solid State Drive) в IOPS (операциях ввода-вывода в секунду).

Использование SSD заметно уменьшает время загрузки операционной системы сервера, запуска приложений и виртуальных машин. Накопители SSD также позволили значительно ускорить работу чувствительных к задержке приложений, таких как транзакционные базы данных. В России такие системы успешно внедряются, например, в страховых компаниях и банках.

Мировой рынок накопителей SSD

По прогнозу Transparency Market Research (TMR), мировой рынок накопителей SSD всех типов до 2022 года будет расти ежегодно более чем на 40% и достигнет 229,4 млрд. долларов. Наиболее высокими темпами будет развиваться сегмент накопителей SSD корпоративного класса – среднегодовые темпы роста составят 76,3%. В числе производителей SSD разного класса — Lite-on Technology, Kingston Technology, OCZ Storage Solutions, Intel, Western Digital.

Доли вендоров на мировом рынке SSD в единицах продукции на второй квартал 2015 года (по данным TrendFocus ^[1]).

Изменение долей рынка ^[2] производителей флэш-памяти NAND за последние шесть лет.

Поставки накопителей SSD на мировой рынок ведущими вендорами в млн. штук (данные TrendFocus ^[3]).

Значительное влияние на рынок SSD оказала память 3D NAND, применяемая в настоящее время в продуктах Samsung серии 850 и 950. Другие вендоры активно работают в данном направлении и в следующем году наладят массовое производство флэш-памяти 3D — MLC и TLC. По оценкам SMI, уже в 2019 году вся флэш-память будет производиться по технологии 3D.

В первом квартале 2016 года поставки SSD в мире выросли на 32,7% год к году (данные TrendFocus). Их общая емкость составила порядка 10 экзабайт, на 77% превысив показатели годовалой давности. А средняя емкость одного накопителя увеличилась на 33%.

Доли производителей накопителей SSD на мировом рынке за последние кварталы (данные TrendFocus ^[3]).

Устройства на основе памяти NAND активно вытесняют традиционные накопители на жестких дисках (HDD). Продажи последних за тот же период упали на 20%. Поставки флэш-накопителей корпоративного класса увеличились в первом квартале на 69%. В мире было продано примерно 4 млн. таких устройств.

Поставки продуктов SSD на мировой рынок за последние кварталы по видам применения – клиентские (синий) и корпоративные (красный) в млн. штук (данные TrendFocus ^[3]).

Samsung, Intel и HGST – основные поставщики накопителей SSD корпоративного класса. Их совокупная доля рынка составляет 80%. Samsung также остается лидером мирового рынка SSD всех типов с долей более 40%.   

Доли производителей SSD на мировом рынке (данные TrendFocus ^[3]).

В системах для ответственных приложений продолжается переход с дисковых накопителей 10K/15K HDD на SSD, но, поскольку один накопитель SSD корпоративного класса заменяет по производительности несколько HDD, поставки флэш-памяти с интерфейсами PCIe и SAS невелики. В первом квартале в мере было продано 164 тыс. корпоративных SSD PCIe и 590 тыс. SSD SAS. Продажи SSD с интерфейсом SATA за тот же период составили 2,95 млн. устройств.

Поставки SSD корпоративного класса по типам интерфейсов (данные Trendfocus ^[3]). Поставки устройств с интерфейсами PCIe и SAS растут, но довольно низкими темпами.

Повышение производительности SSD за счет перехода на форм-фактор NVMe и новые контроллеры способствовало внедрению флэш-памяти в высокопроизводительных системах, где она продолжает вытеснять традиционные накопители на жестких дисках.

Хотя цены на твердотельные накопители постепенно падают, стоимость хранения гигабайта данных на HDD пока еще значительно ниже. Но с появлением памяти 3D NAND цены на флэш-память стали быстро снижаться, и можно ожидать, что рынок корпоративных HDD, применяемых для хранения основных рабочих данных, начнет сокращаться.

По сравнению с жесткими дисками накопители SSD имеют намного более низкую задержку, в 1000 раз лучшую производительность в IOPS и в три-пять раз более высокую пропускную способность. В результате SSD получают все шансы заменить HDD в серверах уже в этом году. А в 2017 году, по прогнозу Gartner, объем продаж накопителей SSD в мире превысит продажи HDD в денежном выражении.  

По прогнозу аналитиков Gartner, в 2017 году мировые продажи накопителей SSD корпоративного класса опередят продажи HDD. В ближайшие три года объем продаж продуктов SSD в корпоративном сегменте (в денежном выражении) будет расти в среднем на 20% в год, в то время как продажи HDD – лишь на 4%.

Технологии флэш-памяти корпоративного класса быстро развиваются, появляются новые форм-факторы накопителей, совершенствуются интерфейсы. Серверные SSD можно разделить на два основных больших сегмента: устройства NVMe с интерфейсом PCIe для самых требовательных задач и накопители SATA для остальных нагрузок.

Например, Dell применяет в новейших моделях четырехсокетных серверов PowerEdge накопители Express Flash NVMe PCIe SSD. По данным вендора, они на порядок превосходят по производительности ввода-вывода «традиционные» SSD.

Форм-факторы корпоративных накопителей SSD

Серверные флэш-накопители выпускаются в разнообразных форм-факторах:

Solid-State Drive (SSD): аналогичен традиционному HDD. Наиболее распространены SSD 3,5", 2,5" и 1,8". Толщина накопителей может быть разной – от соответствующей HDD до 5 мм. Обычно они имеют интерфейсы SATA, SAS или NVMe. Так что именовать все флэш-накопители «SSD» формально неверно, но для простоты мы не следуем этому правилу.

Add-in card (AIC): типовая дополнительная плата, вставляемая в слот PCIe. Такие платы могут быть разных размеров: полной или половинной высоты и ширины, полной или половинной длины и низкопрофильные.

M.2: плата с флэш-памятью, устанавливаемая внутри сервера. Имеет ширину 22 мм и длину от 30 до 110 мм. Может устанавливаться в специальные слоты PCIe или SATA. Микросхемы флэш-памяти могут располагаться с одной стороны или с двух сторон платы. Потребляет такой накопитель меньше устройств SSD или AIC. Первоначально шина M.2 разрабатывалась как более скоростная и компактная замена mSATA.

mSATA: аналогичен форм-фактору M.2, но создан для портативных устройств, а не для серверов.

Disk on Module (DOM): маленький модуль на материнской плате. Обычно имеет небольшую емкость, достаточную для загрузки системы или для встроенных приложений.

NVDIMM (non-volatile DIMM): этот форм-фактор предназначен для установки твердотельного накопителя в разъем DIMM на шине памяти и содержит некоторое количество энергозависимой памяти DRAM и энергонезависимую NVDIMM. Накопители такого форм-фактора (Storage Class Memory) работают со скоростью оперативной памяти, то есть быстрее, чем устанавливаемые на шину PCIe, но требуют специальной поддержки на уровне материнской платы и BIOS/UEFI, чтобы система могла распознать разные типы памяти в DIMM.

Модуль NVDIMM-N содержит DRAM и NVM, но система видит только DRAM — стандартный RDIMM с характерными для DRAM емкостью и задержкой. К NVM сервер не обращается: эта память используется для резервирования DRAM и имеет как минимум такую же емкость как DRAM. Таким образом, хранящиеся в DIMM данные защищены от отказов питания: для этого используется специальный конденсатор, емкости которого достаточно, чтобы при отказе питания переписать данные в энергонезависимую память. В остальном NVDIMM-N ведет себя как обычный модуль DRAM. NVDIMM-N имеет также другое название — NVRAM.

Еще один тип модулей, NVDIMM-F, содержит только NVM (без DRAM). Накопитель NVM имеет емкость типовых SSD и поддерживает блочный доступ, но задержка у него меньше, чем у других SSD – обычно несколько микросекунд.

Третий тип, NVDIMM-P, включает DRAM и NVM, объединяя в одном модуле функции NVDIMM-N и NVDIMM-F. Одна область флэш-памяти в нем используется для блочного хранения, другая – для резервирования DRAM.

Наряду с форм-факторами флэш-накопители отличает также разнообразие интерфейсов.

Интерфейсы и протоколы флэш-накопителей

Во флэш-накопителях корпоративного класса применяются следующие интерфейсы:

SATA (Serial ATA): обычно используется в недорогих продуктах форм-факторов SSD, M.2, DOM и mSATA. Это интерфейс «точка-точка» со скоростью до 6 Гбит/с.

SAS (Serial Attached SCSI): применяется, как правило, в устройствах SSD и HDD корпоративного класса. Поддерживает до 65535 устройств на соединение. Он получил распространение в массивах корпоративного класса, JBOD и серверах. В настоящее время скорость SAS — 12 Гбит/с, в 2018-2019 годах, после выпуска PCIe 4.0 ожидается ее удвоение.

U.2 (ранее SFF-8639): поддерживается в PCIe/NVMe SSD. U.2 обратно совместим с SAS, то есть к нему можно подключать устройства NVMe, SAS и SATA.

PCI Express (PCIe): поддерживает устройства форм-факторов AIC и M.2. У AIC 4 линии, а не 16, как у PCIe. Соответственно скорость – 8 Гбит/с. Устройства M.2 обычно задействуют 2 или 4 линии PCIe. Интерфейс PCIe 2.0 x2 имеет теоретическую пропускную способность 8 Гбит/с (1 Гбайт/с), у PCIe 2.0 x4 она составляет 16 Гбит/с (2 Гбайта/с), у PCIe 3.0 x4 32 Гбит/с (4 Гбайт/с), однако реальная пропускная способность примерно на 20% ниже ^[4].
DIMM: теперь используется не только в качестве интерфейса памяти, но и в продуктах хранения данных. Модули памяти DDR4 поддерживают скорость до 19,2 Гбайт/с, а задержка составляет десятки наносекунд.

Различаются флэш-накопители и поддерживаемыми протоколами. Протокол – набор команд для конкретного интерфейса. Так интерфейс SATA поддерживает протокол SATA, SAS – SAS (или SCSI). Относительно новый протокол NVMe ^[5] разработан специально для энергонезависимой памяти. Для выполнения запроса ввода-вывода он требует меньше команд процессора. NVMe также использует распараллеливание операций в многоядерных процессорах. Поддерживается 64К команд на очередь и 64К очередей, то есть возможно значительное число ожидающих операций ввода-вывода.

Одна из целей разработки NVMe – значительное сокращение задержки. В настоящее время NVMe поддерживается накопителями любого форм-фактора с интерфейсом PCIe. Однако устройства NVMe достаточно дороги.

В планах развития NVMe – протокол NVMe over Fabrics, которых позволит NVMe работать на больших расстояниях, используя фабрики RDMA или Fibre Channel.

SSD в дата-центрах: бездисковый ЦОД

Сегодня SSD нередко применяют в сочетании с HDD для кэширования данных при чтении или чтении/записи. Этот метод хорошо работает для повышения производительности приложений в случае внешних флэш-массивов, но еще лучше – когда флэш-память находится в самом сервере, ближе к процессору.

Флэш-накопители отвечают таким тенденциям отрасли, как обработка массивов данных в памяти (in-memory), виртуализация и облачные сервисы, появляются новые возможности для оптимизации хранения данных. И в результате полностью меняется экономика ЦОД.

В ряде случаев компаниям за счет внедрения флэш-массивов удается на треть снизить TCO на 33%, многократно увеличить производительность инфраструктуры хранения данных, почти вдвое сократить потребление электроэнергии, более чем на порядок повысить производительность приложений и на 40% уменьшить время отклика при работе с ними, более чем наполовину снизить стоимость поддержки инфраструктуры хранения данных. Владельцам коммерческих ЦОД данные технологии позволяют при заключении соглашений SLA на облачные сервисы гарантировать клиентам определенную скорость доступа к СХД (в IOPS).

Семейство твердотельных накопителей Intel для центров данных с интерфейсом SATA пополннео накопителем Intel серии S3610. Intel DC серии S3710 — новое поколение твердотельных накопителей для центров обработки данных, оптимизированных для нагрузок как с большим количеством операций записи, так и чтения.

Твердотельный накопитель Intel серии DC S3610 обеспечивает повышение скорость чтения/записи до 550/5201 Мбайт/с, а скорость чтения/записи блоками по 4 К — до 84 000/28 0001 IOPS. Типичное время задержки в приложениях составляет 55 мкс, максимальные задержки операций чтения — 500 мкс на протяжении 99,9% времени. Энергопотребление в активном состоянии — менее 6,8 Вт.

Флэш-накопители оказывают влияние и на веб-хостинг, облачные вычисления. Более того, объединенные в RAID-массив они позволяют получить производительность в облаке, которая не может быть достигнута на домашнем ПК. Иногда клиентам предоставляется возможность самостоятельно оценить ^[6], что дает использование SSD корпоративного уровня для виртуальных серверов.

Ведущие провайдеры все чаще используют SSD в серверах, которые служат платформой для виртуальных серверов клиентов (VPS ^[7]), на которых обычно и размещаются веб-сайты. Такой вариант хостинга ^[7] стоит дороже, но оптимален для высоконагруженных сайтов (с большим количеством операций ввода-вывода), например, сайтов, где работают базы данных, размещаются блоги или форумы, сайтов электронной коммерции и пр. Однако у него есть свои сложности.

Флэш-память в серверах: емкость и ограничения

Емкость твердотельных накопителей для серверов стремительно растет и скоро может превзойти емкость HDD. Например, Samsung выпустила SSD в форм-факторе 2,5" емкостью 15 Тбайт. С увеличение плотности флэш-памяти NAND накопители становятся все более компактными. Так твердотельный накопитель форм-фактора M.2 можно использовать как очень быстрый загрузочный носитель, занимающий в сервере намного меньше места, чем 2,5" HDD.

Между тем, у серверных SSD есть ограничения. И это не только подчас запредельная цена и превышающая показатели HDD стоимость хранения гигабайта данных. Такую емкость достаточно трудно сделать общедоступной, разделяемой между вычислительными узлами системы, хотя некоторые ОС и гипервизоры позволяют создавать такие кластеры, например, VMware VSAN 6.2 или Microsoft Server 2016 с поддержкой Storage Spaces Direct. Такие программные средства позволяют строить высокодоступные системы со встроенными накопителями SATA, SAS или NVMe, причем поддерживают сжатие, дедупликацию данных и QoS.

Оснащенные SSD серверы позволяют эффективно решать такие задачи как редактирование видео, поиск в крупных базах данных, обработка транзакций, дают возможность устранить узкие места в средах виртуализации и облачных вычислениях.  

Современные SSD достаточно долговечны и способны выдержать пять лет интенсивного использования, то есть вполне вписываются в жизненный цикл сервера.

По сравнению с жесткими дисками накопители SSD имеют намного более низкую задержку, в 1000 раз лучшую производительность в IOPS и в три-пять раз более высокую пропускную способность. В результате SSD получают все шансы заменить HDD в серверах уже в этом году. А в 2017 году, по прогнозу Gartner, объем продаж SSD в мире превысит продажи HDD в денежном выражении.  

Между тем при использовании SSD большинство контроллеров RAID в режиме RAID 5 становятся узким местом в системе, поэтому для защиты данных рекомендуют использовать RAID 1 или 10 в программной реализации. А для задач с интенсивной записью (сбор данных от датчиков, запись видео и пр.) могут потребоваться SSD с увеличенным сроком службы – их выпускают несколько вендоров.

Флэш-память в СХД: что это дает

Показательны также примеры использования флэш-памяти нового поколения ведущими вендорами в своих флагманских СХД.

HPE продолжает работать над оптимизацией своей флэш-системы 3PAR. Для этих целей используются новейшее поколение флэш-памяти 3D NAND в накопителях емкостью 7.68 и 15,36 Тбайт. Последний более чем в 15 раз превосходит HDD 1,8" 10K при в 10 раз меньшей задержке. Усовершенствованная технология HPE Adaptive Sparing динамически присваивая не только резервную, но и неиспользуемую емкость, что помогает процессу внутренней «сборки мусора» накопителя при больших емкостях. Чтобы с увеличением общей емкости системы узким местом не стал интерфейс доступа к данным, используется технология Express Layout, позволяющая обоим контроллерам в паре узлов параллельно работать с SSD через интерфейс SAS 12 Гбит/c.

Флэш-память становится массовым продуктом, «бездисковый» ЦОД, целиком построенный на флэш-накопителях – уже реальность, на подходе новые накопители SSD и интерфейсы, активно развиваются направления Storage Class Memory и NVMe.

Есть также целый ряд приложений, которым не нужны высокие показатели IOPS, но требуется очень малая и предсказуемая задержка. Новое поколение накопителей как нельзя лучше подходит для подобных задач.

В СХД Dell SC9000 используется новая серверная платформа Dell PowerEdge с четырьмя 8-ядерными процессорами 3,2 ГГц и оперативной памятью емкостью до 512 Гбайт. Емкость флэш-массива составляет до 46 Тбайт на 1U (без сжатия данных). Такой плотности удалось добиться благодаря применению в СХД трехуровневой флэш-памяти Samsung TLC 3D NAND. Чтобы увеличить срок службы 3D NAND, инженеры Dell задействовали механизм тиринга — перемещения данных между уровнями хранения. Первый уровень представлен флэш-памятью SLC или eMLC, выдерживающей большое количество циклов перезаписи, второй — памятью 3D NAND, в которую записываются относительно редко используемые данные, причем в сжатом виде. В некоторых моделях есть и третий уровень — HDD. Для еще более экономного использования емкости хранения можно задействовать механизмы дедупликации. Конфигурацию системы (соотношение емкости разных видов флэш-памяти и жестких дисков) можно подбирать с учетом характера нагрузки.

Перспективы флэш-памяти

С внедрением технологии 3D NAND значительно выросла плотность флэш-памяти. Ближайшее будущее (2017 год) – появление на рынке флэш-памяти QLC с четырьмя битами на ячейку стоимостью 30 долларов за терабайт емкости. Емкость SSD превысит емкость дисковых накопителей, которая приближается к физическому пределу. Уже анонсированы SSD емкостью 16 Тбайт, и к 2020 году появятся флэш-память емкостью 40 Тбайт на устройство.

В числе новых разработок — память X-Point от Intel/Micron, которая поспорит по скорости с накопителями NVMe, но потребует изменений в системном программном обеспечении. Ее массовое внедрение может начаться в 2017 году.

Samsung анонсировала четвертое поколение 3D NAND – с 64 слоями вместо 48 и увеличенной до 800 Мбит/м скоростью интерфейса. Емкость накопителя размером 11,5х13 мм на памяти TLC составляет 1 Тбайт. На смену прежнему продукту 16TB PM1633a SAS SSD приходит новый накопитель 32TB PM1643, а карта PM1725 PCIe дополнена моделью PM1735 с интерфейсом PCIe 4x8.

Lenovo вместе с партнерами, такими как Seagate, NxGn Data и Amphenol, ведет разработку твердотельного накопителя для серверов и систем хранения (Project Spark). Накопитель Lenovo отличается небольшими размерами и предназначен для установки в стоечные серверы 1U, поддерживает горячую замену. Одна из версий этого накопителя имеет емкость 48 Тбайт и занимает место двух 2,5-дюймовых накопителей.

Уже сегодня твердотельные накопители для ЦОД повышают эффективность обработки данных, предлагает премиум-качество и снижают затраты на электроэнергию. Новые разработки открывают перспективы, которые сейчас даже трудно себе представить, и могут привести к радикальным изменениям в архитектуре вычислительных систем и дата-центров.

Автор: RUVDS.com

Источник ^[8]